Et nyt forskningspapir, CyrillicQA, introducerer et benchmark designet til at teste, hvor godt store sprogmodeller (LLM'er) kan afkode fonetisk kodede sprog – en form for hemmeligt sprog, hvor ord fra ét sprog skrives med et andet alfabet, fx kyrillisk. Resultaterne peger på en væsentlig begrænsning: Selvom LLM'er er stærke på standardiserede sprog med store talergrupper, formår de ikke at matche menneskers evne til at genkende og oversætte sådanne kodede varianter.
For beslutningstagere, der overvejer AI til sprogbevarelse eller flersprogede applikationer, er dette en vigtig advarsel. Papiret understreger, at LLM'er kan være et alsidigt værktøj til at bevare truede sprog, men at deres kreativitet og abstraktionsevne er utilstrækkelig, når input afviger fra træningsdataenes standardform. Det betyder, at løsninger, der bygger på LLM'er til at håndtere dialekter, kodede sprog eller ikke-standardiserede skriftsystemer, kan fejle i praksis – medmindre de suppleres med specialiserede modeller eller menneskelig ekspertise.
Forskningen fremhæver også en skævhed i træningsdata: Modeller præsterer bedst på latin-alfabetiske sprog med store talergrupper, hvilket kan have strategiske konsekvenser for virksomheder, der sigter mod globale markeder med sproglig diversitet. Hvis AI-systemer skal bruges til at understøtte minoritetssprog eller regionale varianter, kræver det bevidst datadesign og test ud over standard benchmarks.
