En ny undersøgelse fra arXiv viser, at selv topmoderne AI-modeller som OpenAI GPT 5.4 scorer langt fra ideelt, når de skal ræsonnere juridisk i forbindelse med sager fra Den Europæiske Menneskerettighedsdomstol (ECtHR). Undersøgelsen, som er beskrevet i paperet, fandt, at modellen producerer strukturelt komplette, men indholdsmæssigt overfladiske analyser. Det betyder, at selvom outputtet ser korrekt ud i formen, er den juridiske substans mangelfuld.
Forskerne testede forskellige prompt-strategier, der i varierende grad antyder, hvad der tæller som juridisk meningsfuld ræsonnering i ECtHR's retspraksis. Resultaterne viser, at en ekspertkurateret prompt fører til mere omfattende ræsonnering, men at dette ikke resulterer i mere præcise forudsigelser sammenlignet med andre indstillinger. Det er en vigtig pointe: Bedre ræsonnering betyder ikke nødvendigvis bedre resultater i opgaven.
Endnu mere bekymrende er fundet omkring evaluering. LLM-as-a-Judge-evaluatorer – altså AI-modeller, der bruges til at vurdere andre AI-modellers svar – viste sig at være internt konsistente, men kun svagt i overensstemmelse med menneskelige ekspertbedømmelser. De er altså pålidelige i den forstand, at de giver samme svar hver gang, men de er ikke en gyldig erstatning for menneskelig evaluering.
For beslutningstagere, der overvejer at bruge AI i juridisk arbejde – for eksempel til sagsforberedelse, risikovurdering eller forecast af retsudfald – er dette en klar advarsel. Modellerne kan ikke i dag levere juridisk ræsonnering af høj kvalitet, og man kan ikke stole på automatiske evalueringsværktøjer til at fange fejlene. Forskerne opfordrer eksplicit til ikke at stole udelukkende på automatiseret LLM-baseret evaluering og til at undgå at bruge opgavens nøjagtighed som en passende proxy for ræsonneringskvalitet.
