Forskere har taget et vigtigt skridt mod at forstå, hvad der foregår inde i store sprogmodeller (LLM'er), når de laver fejl. Ved at 'skade' forskellige dele af en AI-model og observere, hvilke sprogfejl der opstår, har de nu vist, at det er muligt at gå baglæns: ud fra fejlene kan man identificere, hvilken 'skade' der blev påført. Det skriver forskerne i et nyt studie på arXiv.

Studiet, der har undersøgt modellen LLaVA-Vicuna 13B, er ikke bare et teknisk kuriosum. Det adresserer et grundlæggende problem i AI-forskning: Vi kan se, hvad en model siger, men vi ved ikke med sikkerhed, hvorfor den siger det. Traditionelle fortolkningsmetoder beskriver modellens interne tilstand, men de tester ikke, om den tilstand faktisk er årsagen til den observerede adfærd. Denne nye tilgang, kaldet 'kontrafaktisk validering', forsøger at lukke det hul.

Forskerne trænede et neuralt netværk til at gætte, hvilke 'læsioner' – parametre som lag-indeks, ændringsprocent og støjniveau – der havde produceret en given fejlprofil. Resultaterne var blandede: Ændringsprocent og støjniveau kunne genfindes præcist, mens lag-indekset kun kunne bestemmes inden for et vist område. Alligevel var metoden bemærkelsesværdig effektiv: I 81,4 % af tilfældene kunne en frisk model, der blev 'skadet' med de gættede parametre, reproducere den ønskede adfærd.

Det interessante er, at denne dissociation – at man ikke kan finde det præcise lag, men alligevel kan reproducere adfærden – peger på, at transformer-lagene i en AI-model er funktionelt redundante. Med andre ord: Der er flere måder at opnå samme resultat på, hvilket gør modellen mere robust, men også sværere at fortolke med traditionelle metoder.

Som en ekstra test anvendte forskerne deres model på fejlprofiler fra 278 mennesker, der har fået afasi (sprogforstyrrelse efter hjerneskade). Her viste de gættede 'læsionsparametre' sig at kunne skelne mellem forskellige syndromer – især styrken af 'forstyrrelsen' var signifikant. Det tyder på, at metoden kan generalisere ud over kunstige data og måske give ny indsigt i, hvordan menneskelig hjernefunktion er organiseret.

For beslutningstagere er der to centrale pointer. For det første: Hvis vi kan forstå, hvilke 'dele' af en AI-model der er ansvarlige for bestemte fejl, kan vi bedre forudsige, hvornår en model vil fejle – og dermed designe mere pålidelige systemer til kritiske opgaver som medicinsk diagnostik eller juridisk analyse. For det andet: Metoden kan blive et værktøj til at validere AI-fortolkninger generelt, hvilket er afgørende, når man skal stole på en model i højrisikoområder.