Elektroniske patientjournaler overstiger nu rutinemæssigt 100.000 tokens per patient. Men store sprogmodeller (LLM'er) har et velkendt problem: information midt i en lang kontekst hentes mindre pålideligt frem end information i starten eller slutningen. I klinisk brug er dette ikke harmløst – det enkelte mest afgørende faktum i en journal kan ligge præcis i midten.

Et nyt studie på arXiv giver den første systematiske karakterisering af dette problem, som forskerne kalder "clinical lost-in-the-middle" (CLitM). Ved at analysere 2.196 instruktion-svar-par på tværs af seks sprogmodeller fandt de en forskel på 21,9 procentpoint mellem top-accuracy (59,5% ved 20-30% percentilen) og bund-accuracy (37,6% ved 70-80% percentilen). 67,8% af reference-svarene lå netop i CLitM-fælden – mellem 10. og 90. percentilen af journalens tidslinje.

Forskerne introducerer en løsning kaldet Query-Conditioned Clinical Suppression (QCCS), en letvægtsmekanisme, der vælger relevant kontekst baseret på det aktuelle spørgsmål. I en proof-of-concept-evaluering med Qwen2.5-7B-Instruct (16k kontekst) overgik QCCS alle fem sammenlignelige metoder – inklusive BM25, dense retrieval og cross-encoder reranking – under LLM-as-judge-scoring. For instruktioner med midterposition nåede QCCS 16,7% accuracy mod BM25's 3,3% og cross-encoder'ens 0,0%. Samlet set nåede QCCS 25,3% mod højst 3,6% for retrieval-baserede metoder.

Bemærkelsesværdigt er, at denne fordel ikke skyldes bedre retrieval: ved k=20 hentede BM25 den korrekte evidenssætning i 98,8% af tilfældene (QCCS kun 34,9%), men retrieval-armene opnåede alligevel højst 2,6% accuracy, selv når de hentede den rigtige sætning. QCCS nåede 25,0% accuracy, selv når den ikke hentede den. Det tyder på, at problemet ikke kun handler om at finde den rigtige information, men om at modellen faktisk bruger den korrekt.

For beslutningstagere i sundhedssektoren og AI-udvikling er implikationen klar: At stole på simple retrieval-metoder i kliniske LLM-systemer kan være utilstrækkeligt. QCCS tilbyder en let implementerbar tilgang, der kan forbedre pålideligheden af AI-assisteret journalanalyse markant – uden at kræve tunge modeller eller kompleks infrastruktur.