TestGroup: AI en online assessments

Een veel besproken onderwerp op het gebied van online assessments is kunstmatige intelligentie (AI). Hoe kunnen ontwikkelaars van online assessments AI implementeren in hun testen op een manier die echt waarde toevoegt voor hun klanten? Dit artikel laat zien hoe TestGroup AI toepast in de Bridge Assessment instrumenten.

Toepassing van kunstmatige intelligentie en algoritmes in online assessments

Kunstmatige intelligentie kan ervoor zorgen dat technologie, systemen en software in staat zijn hun omgeving (data) te interpreteren om zo acties te ondernemen die de kans op het behalen van doelen of resultaten maximaliseren.

 

TestGroup maakt al meer dan 10 jaar gebruik van machine learning en AI in online assessments. Veel populaire testen zijn ontworpen voordat ze konden profiteren van de capaciteit van internet (o.a. MBTI, NEO PI). Dit soort tools zijn ooit ontwikkeld voor gebruik op papier en maken daarom geen gebruik van AI. Omdat The Bridge assessment instrumenten rond 2004 ontwikkeld zijn, was de implementatie van intelligente software en AI direct mogelijk vanaf de lancering van de Bridge assessment instrumenten meer dan 15 jaar geleden.

 

TestGroup heeft online assessments ontwikkeld die gebruik maken van grote datasets om zo de voorspelling van de assessments te optimaliseren met een hiërarchie van gespecialiseerde algoritmes. De interactieve software van de Bridge-testen selecteert de items die aan kandidaten worden gepresenteerd door verschillende algoritmes te gebruiken.

 

  • De Bridge-persoonlijkheidstesten (The Bridge Personality & The Bridge Personality Quickscan) presenteren verschillende items aan kandidaten op basis van hun eerste antwoorden. Hiermee wordt een betere meting van persoonlijkheid mogelijk gemaakt en wordt o.a. sociaal wenselijk antwoordgedrag inzichtelijk gemaakt.
  • Onze capaciteitentesten (The Bridge Ability Suite en The Bridge Ability Online) halen items uit grote itembanken om kandidaten te voorzien van verschillende inhoud; dit wordt gecontroleerd zodat we items met dezelfde moeilijkheidsgraad kunnen presenteren aan testpersonen.
  • The Bridge Sales Performance (online sales assessment) gebruikt patroonherkenning algoritmes die zijn gebaseerd op de reacties van (sales) deskundigen om geoptimaliseerde scores te genereren.
  • We gebruiken transparante modellen die groepsverschillen op het gebied van leeftijd, geslacht en etniciteit minimaliseren.

Afhankelijk van de grootte van de dataset die we gebruiken om onze algoritmes te ontwikkelen, gebruiken we een mix van natuurlijke en kunstmatige intelligentie om onze data te modelleren. Dit zorgt ervoor dat wij zicht hebben op de specifieke informatie die onze algoritmes gebruiken en dat deze algoritmes content- en criterium valide zijn, zodat we beslissingen op basis van deze algoritmes kunnen rechtvaardigen.

Valkuilen bij het gebruik van AI in online assessments

Het toepassen van AI in online assessments kent veel verschillende benaderingen zijn en sommige daarvan kunnen risico's met zich meebrengen.

De 'black-box': welke variabelen gebruikt het algoritme voor de voorspelling?

Door duizenden datapunten te meten/verzamelen en vervolgens machine learning of neural neworks te gebruiken in een poging om uitkomsten te voorspellen, kan een ‘black box-benadering’ van assessments ontstaan, wat inhoudt dat onlogische of bevooroordeelde variabelen worden gebruikt om uitkomsten te voorspellen. Deze benadering kan ertoe leiden dat organisaties wervingsbeslissingen nemen die juridisch moeilijk te rechtvaardigen zijn omdat ze simpelweg niet weten wat de uiteindelijke selectiecriteria van de AI-software zijn geweest (‘black box’). Dit is met name een probleem tijdens de toepassing van neural networks in assessments.  

Het algoritme werkt niet in elke dataset

Het tweede gevaar is (over)generalisatie. Zo kunnen neural networks bijvoorbeeld verschillende relaties in een grote dataset zien. Echter, de relaties die het neural network in deze data ziet kunnen illusies zijn – dat betekent dat het neural network in een nieuwe dataset deze patronen niet ziet en de AI-software in dat geval geen bruikbare voorspellingen doet.

Niet elke organisatie heeft de juiste data beschikbaar

Machine learning is een van de voorspellende analytische methoden die we kunnen inzetten om gedrag te voorspellen. Het nut van deze methode is echter afhankelijk van het beschikbaar zijn van de juiste data. Sommige benaderingen van machine learning gebruiken zeer grote steekproeven binnen één organisatie (bijv. meer dan 10.000) en ook afzonderlijke grote steekproeven om het algoritme te trainen. Ook moeten de datasets hoogwaardige data bevatten die toepasbaar is door het algoritme. Indien deze data binnen een organisatie niet beschikbaar is, is machine learning niet geschikt als voorspellend model.

Voorkom ‘false-positives’ tijdens selectie: 4 tips bij de keuze voor een online assessment | SLIM-regeling: online assessments voor leren en ontwikkelen in het MKB


Bekijk ook deze assessment tips: