En ny undersøgelse fra arXiv sætter spørgsmålstegn ved, hvordan AI-modeller bruges til at måle og vurdere elevers mundtlige deltagelse i klasseværelset. Forskningen viser, at de gængse metoder til at validere LLM-baserede målinger af elevtale er utilstrækkelige – og at unge, især fra marginaliserede grupper, bør inddrages i processen for at sikre, at målingerne er meningsfulde og retfærdige.
Studiet argumenterer for, at LLM-baserede målinger typisk kun anvender transskriptioner af verbale bidrag, hvilket afkontekstualiserer elevernes sprog. Valideringen sker ofte ved at sammenligne med voksne eksperters annoteringer, hvilket ifølge forfatterne ikke er nok til at sikre, at målingerne er meningsfulde – særligt for racemæssigt og sprogligt marginaliserede unge.
I et casestudie med flersprogede elever i en 8.-klasses matematiktime inddrog forskerne fire fokuselever gennem observationer, interviews, fokusgrupper og medlemschecks. Resultaterne viste, at elevernes egne fortolkninger af deres tale ikke stemte overens med LLM-målingerne. Eleverne udfordrede både AI-modellens klassifikationer og det kodningssystem, der blev brugt – hvilket understreger behovet for, at unge involveres i den videnskabelige proces, når der produceres viden om deres oplevelser.
For beslutningstagere i uddannelsessektoren – fra skoleledere til udbydere af undervisningsteknologi – rejser studiet et centralt spørgsmål: Kan vi stole på AI-baserede vurderinger af elevers deltagelse, når de ikke tager højde for elevernes egne perspektiver? Hvis LLM-målinger skal bruges til at evaluere undervisning, differentiere indsatser eller vurdere læringsudbytte, risikerer man at reproducere skævheder, som de voksne eksperter selv ikke kan se.
Studiet peger på en konkret vej frem: at rekontekstualisere klasseværelsesdialogen og give unge epistemisk autoritet i forskningsprocessen. Det kræver en ændring i, hvordan LLM-baserede målinger designes og valideres – ikke kun teknisk, men også metodisk og etisk.
