En ny undersøgelse fra arXiv udfordrer tidligere resultater om, at store sprogmodeller (LLM'er) systematisk fejlfortolker progressive sætninger. Forskere bag det nye papir viser, at den eksisterende benchmark er fejlbehæftet, og at modellerne faktisk klarer sig langt bedre, end tidligere antaget.

Undersøgelsen gennemgår en tidligere benchmark, der hævdede, at modeller har en 'teleologisk bias' – en tendens til at antage, at en handling er fuldført, selv når den beskrives som igangværende (fx 'han byggede huset' vs. 'han var ved at bygge huset'). Forskerne identificerer tre konceptuelle fejl i benchmark-konstruktionen, herunder 'aspektuel reduktion', som påvirker både analyse og konklusioner.

Under et strengt NLI-standard (natural language inference) viser de, at 76% af instanserne i gruppe A ikke eksplicit udelukker fuldførelse. I en indfødt-talende annotation blev 38% af gruppe A og 29% af gruppe C eksempler vurderet til at tillade en alternativ fortolkning.

For at kontrollere disse problemer konstruerede forskerne 'leksikalsk matchede minimale par' og formulerede opgaven som et multi-step ræsonnementsproblem. Deres resultater viser, at modeller ofte ikke bekræfter fuldførelse, men alligevel accepterer den tilsvarende simpel-fortid hypotese – et mønster de kalder 'sufficiency bias'. Desuden finder de, at prompt-interventioner producerer et 'beslutningsskift' blandt labels uden at forbedre den underliggende semantiske forståelse.

Forsøgene med Qwen-7B, GPT-5.4 og Qwen-72B giver indledende bevis for, at aspektuel klassifikation er kontekstfølsom, og at modellerne kan opnå præstation sammenlignelig med menneskelige annotatorer.

Hvad betyder det for dig?

For beslutningstagere, der overvejer at implementere LLM'er i sprogfølsomme applikationer (fx juridisk, finansiel eller medicinsk tekstanalyse), er dette en vigtig påmindelse om, at benchmarks kan være misvisende. Før du stoler på en models evne til at forstå nuancerede sproglige konstruktioner, bør du verificere, at de evalueringsmetoder, der ligger til grund for påstandene, er valide. Dette papir understreger også, at modeller kan være mere kapable, end tidligere antaget – men kun når de testes korrekt.