Hoe een 8-jarig kind een AI-systeem verrassend te slim af is

Kinderen denken vaak dat AI veel slimmer is dan zij. Wanneer AI hun huiswerk maakt, weet het overal overtuigend antwoord op. Maar zodra het aankomt op redeneren met nieuwe informatie, blijken kinderen juist veel beter.

In een denkpuzzelwedstrijd tussen kinderen, volwassenen en AI, versloegen kinderen de AI met gemak, zo blijkt uit onderzoek van de Universiteit van Amsterdam en het Santa Fe Institute.

Een kind denkt een stuk flexibeler dan kunstmatige intelligentie dat altijd volgens vaste patronen redeneert. Hierdoor hebben grote taalmodellen, zoals ChatGPT, nog altijd moeite met het soort flexibel redeneren dat kinderen al van jongs af aan beheersen.

Een analogiepuzzel oplossen

De onderzoekers vergeleken de prestaties van kinderen tussen de zeven en negen jaar, volwassenen en vier van de belangrijkste AI-modellen op dit moment. Ze moesten allemaal een reeks analogiepuzzels maken. Een analogiepuzzel is een denkopdracht waarbij je zoekt naar hetzelfde soort verband of overeenkomst tussen twee verschillende situaties. Het gaat bij zo’n puzzel niet om wat dingen zijn, maar om hoe ze met elkaar in verband staan. Bijvoorbeeld een lichaam staat tot voeten als een boom staat tot wortels of een paard staat tot stal als een kip staat tot kippenhok.

In het onderzoek werden op tekst gebaseerde puzzels gebruikt. “Taalmodellen hebben nog veel moeite met het begrijpen van visuele puzzels”, vertelt onderzoeker Claire Stevenson van de UvA. “Maar de puzzel mocht ook geen moeilijke woorden bevatten die kinderen niet begrijpen.” Ze kwamen daarom uit op letterreeksen. “Hier heb je bijna geen speciale kennis voor nodig”, stelt Stevenson. “Je kunt daardoor goed ontdekken hoe mensen en AI op een gelijk speelveld analogieën oplossen.”

Leestip: AI-modellen snappen nog altijd niet goed het verschil tussen feiten en meningen

Drie gebruikte alfabetten

De kinderen, volwassenen en AI moesten letterreeksen voorspellen die steeds veranderden via een of meer regels. Bijvoorbeeld als ‘ab’ verandert in ‘ac’, wat moet er dan gebeuren met ‘gh’? De deelnemers moesten dezelfde logica vervolgens toepassen in meerdere ‘alfabetten’, het Griekse alfabet en een alfabet met onbekende symbolen.

De resultaten waren duidelijk. Kinderen en volwassenen pasten hun kennis vrij gemakkelijk toe in de onbekende domeinen, het Griekse en het symbolenalfabet, terwijl de AI-modellen veel minder goed presteerden. Vooral bij het symbolenalfabet kelderden de resultaten van kunstmatige intelligentie. Waar kinderen gemiddeld 67 procent van de opgaven goed hadden en zelfs beter scoorden in dit nieuwe en onbekende alfabet, daalden de modellen soms tot onder de 20 procent.

De resultaten van het onderzoek in een staafdiagram. Credit: Claire E. Stevenson, Alexandra Pafford, Han L. J. van der Maas en Melanie Mitchell, Universiteit van Amsterdam.

Een fundamenteel verschil tussen mensen en AI

Volgens de onderzoekers laten de resultaten een wezenlijk verschil zien tussen menselijk en kunstmatig redeneren. “Zelfs jonge kinderen begrijpen intuïtief dat een alfabet een geordende reeks is”, legt Stevenson uit. “AI-modellen missen dat abstracte inzicht: ze herkennen vooral patronen in situaties die ze al kennen. Zodra de context verandert, kunnen ze de onderliggende structuur niet meer toepassen.”

Kennis flexibel toepassen in nieuwe situaties blijft dus vooralsnog een kenmerk van onze menselijke intelligentie. Het is ook maar de vraag of kunstmatige intelligentie dit ooit op een vergelijkbare manier zal kunnen.

“Bij de ontwikkeling van AI wordt steeds meer gekeken naar hoe mensen doen en denken”, concludeert Stevenson tenslotte. “Hoe ontwikkelen baby’s zich bijvoorbeeld en geeft dat handvatten voor hoe AI het beste kan leren? Het begint dus eigenlijk allemaal met psychologie!”

Lees meer: De opkomst van AI is lang niet altijd een zegen voor werknemers