En ny undersøgelse fra arXiv viser, at store sprogmodeller (LLM'er) har en vis grad af 'metakognitiv sensitivitet' – de er i stand til at vurdere, hvor sikre de er på deres egne medicinske diagnoser. Forskningen testede en model på 135 kliniske cases med varierende evidensstyrke, modstridende information og manglende data.
Resultaterne viser, at modellen i 93,5% af tilfældene stillede den korrekte diagnose (AT-NCD versus depression-relateret kognitiv svækkelse), og at dens selvtillid generelt steg, når evidensen var klar, og faldt, når information manglede. Dette indikerer, at modellen ikke bare gætter – den har en vis fornemmelse for, hvornår den er på usikker grund.
Men undersøgelsen afslører også en kritisk svaghed: I moderate, modstridende tilfælde af AT-NCD, hvor modellen ofte tog fejl, viste den en højere selvtillid, end dens faktiske præcision berettigede til. Med andre ord: Modellen er mest overbevist om sig selv, netop når den har mest grund til at være usikker.
For beslutningstagere i sundhedssektoren er dette en vigtig pointe. Modeller kan ikke bruges som en pålidelig 'second opinion' uden at man forstår, hvor de fejler – og at deres selvtillid ikke altid afspejler virkeligheden. Papiret understreger, at man bør måle modellernes konfidenskvalitet direkte, frem for at udlede den fra benchmark-accuracy eller modelkapacitet.
Det etablerer en reproducerbar ramme for at evaluere evidensfølsomhed og lokal kalibreringsfejl i medicinske LLM'er – et værktøj, som både forskere og klinikere kan bruge til at vurdere, hvornår en AI-assisteret diagnose kan stoles på.
