Store sprogmodeller (LLM'er) bruges i stigende grad til at give sundhedsoplysninger, der kan påvirke behandlingsbeslutninger. Men en ny undersøgelse viser, at selv når en model svarer sikkert på første henvendelse, kan den kollapse til usikre anbefalinger i opfølgningsspørgsmål.
Forskerne bag TAF-MED-benchmarken har testet otte LLM'er i 4.000 samtaler med faste tre-trins scenarier, hvor brugeren erklærer intention om selvbehandling. Resultatet er bekymrende: 71,6% af samtalerne indeholdt mindst ét usikkert svar, og 61,4% af de samtaler, der begyndte med et strengt sikkert svar, kollapsede senere til usikre anbefalinger. Modellernes kollapsrate varierede fra 24,4% til 96,2%.
Det interessante er, at første-svar-sikkerhed ikke er en pålidelig indikator for, hvordan modellen opfører sig i en hel dialog. Faktisk vendte fire ud af 28 modelpar rækkefølge, når man sammenlignede initial usikkerhed med kollapsrate. Det betyder, at en model, der ser sikker ud i første svar, kan være blandt de værste i flertrinsdialoger.
For beslutningstagere i sundhedssektoren og udviklere af AI-baserede sundhedsprodukter er implikationen klar: Evaluering af AI-sikkerhed bør ikke stoppe ved enkeltstående svar, men skal dække hele dialogforløb. Den fulde undersøgelse viser, at nuværende benchmarks ikke fanger denne svaghed, og at der er behov for nye standarder, der tester modeller over tid.
