Store sprogmodeller (LLM'er) bliver i stigende grad brugt til at levere prioriteret viden om årsagssammenhænge i strukturel kausal opdagelse – men en ny systematisk evaluering viser, at deres direkte vurderinger og selvtillid ikke kan stoles på. Forskerne bag undersøgelsen på arXiv testede 12 open-weight-modeller på seks benchmark-kausale grafer, fem prompt-strategier og fire konfidens-kilder. Resultatet: LLM-baserede kausale vurderinger er stærkt recall-dominerede, hvilket betyder, at modellerne forudsiger alt for tætte grafer med mange falske positive kanter. Prompting flytter blot afvejningen mellem præcision og recall – den løser ikke overforudsigelsen. Selv større modeller forbedrer ikke kalibreringen på de største grafer.
Endnu mere bekymrende: LLM'erne misklassificerer 40,0 % af indirekte og 36,0 % af reverserede ikke-kanter som direkte kanter, og 80,8 % af disse falske positiver får verbaliseret konfidens på mindst 80 %. Det betyder, at modellerne er systematisk overmodige i deres strukturelt forkerte forudsigelser – et kritisk problem, hvis man bruger dem som direkte bevis i kausal analyse.
Konventionelle konfidens-estimater – især logit-baserede – er upålidelige, da de ofte kollapser nær 1,0 uanset korrekthed. Derimod viser konsensus-signaler, som tvær-prompt- og tvær-model-enighed, bedre gennemsnitlig kalibrering og diskrimination, selvom fordelene ikke er statistisk signifikante efter Holm-korrektion. Forskerne foreslår derfor, at LLM'er bedre betragtes som kilder til eksternt validerede bløde kausale priorer end som direkte evidens for kausal struktur.
For beslutningstagere, der overvejer at bruge LLM'er i kausal analyse – fx i forskning, risikovurdering eller strategisk planlægning – er implikationen klar: Modellerne kan hjælpe med at generere hypoteser, men bør ikke bruges som endelig autoritet. Kombiner dem med ekstern validering og vær skeptisk over for høj verbaliseret selvtillid.
