En ny undersøgelse fra arXiv afslører et paradoks i træningen af sprogmodeller: Jo bedre de bliver til at opdage falske antagelser i spørgsmål, desto dårligere klarer de sig på almindelige spørgsmål. Det betyder, at mange af de benchmarks, der bruges til at måle AI-kvalitet, kan overvurdere modellernes reelle kunnen i praksis.
Forskningen fokuserer på såkaldt false-presupposition QA (FPQA), hvor modeller skal identificere, når et spørgsmål bygger på en fejlantagelse — og enten afstå fra at svare eller korrigere den. Den gængse metode er at bede modellen om at udtrække antagelser og faktatjekke hver enkelt. Men problemet er, at mange benchmarks overrepræsenterer spørgsmål med falske antagelser sammenlignet med deres naturlige forekomst. Resultatet er, at modeller, der scorer højt på disse benchmarks, reelt forringes på normale spørgsmål (TPQs).
Årsagen er ifølge forfatterne svage faktatjekmoduler, der også afviser sande antagelser. Det betyder, at en model, der er optimeret til at være skeptisk, kan begynde at afvise gyldige spørgsmål — en alvorlig konsekvens for virksomheder, der implementerer AI i kundeservice, søgning eller beslutningsstøtte, hvor pålidelighed på hverdagsopgaver er afgørende.
For beslutningstagere er budskabet klart: Vær kritisk over for benchmark-resultater, der udelukkende måler på specialiserede opgaver som FPQA. De afspejler ikke nødvendigvis, hvordan modellen performer i virkeligheden, hvor normale spørgsmål dominerer. Det betyder, at valget af model og evalueringsmetode bør inkludere test på realistiske datasæt, ikke kun på udvalgte udfordringer.
