AI-kodningsagenter fejler stadig i videnskabelige opgaver – manglende selvkontrol er den største barriere

To nye forskningsbenchmarks viser, at selv de bedste AI-kodningsagenter kæmper med videnskabelige opgaver – og at fejlene ikke er tilfældige, men følger genkendelige mønstre. For beslutningstagere, der overvejer at automatisere forsknings- eller udviklingsprocesser, er det et signal om, at teknologien endnu ikke er moden til fuld autonomi i komplekse domæner.

Det første benchmark, SWE-bench Science, introducerer 119 opgaver fra 98 GitHub-repositories på tværs af 20 videnskabelige domæner. Selv den bedste agent, Claude Code med Opus-5, opnår kun en pass@1 under 50%. Det betyder, at i mere end halvdelen af opgaverne fejler selv den stærkeste model i at løse opgaven korrekt ved første forsøg. Forskerne identificerer fire tilbagevendende fejlmekanismer: manglende videnskabelig viden eller abstraktion, fejlslagen udforskning eller overfladisk reparation, ufuldstændig reparation eller systemintegration, og manglende evne til at generalisere videnskabelig viden ud over de sete tilfælde.

Det andet benchmark, AutoResearchEval, går skridtet videre og evaluerer 800 agent-trajektorier på 100 virkelige forskningsopgaver. Her finder forskerne 45 forskellige fejlmønstre, som alle konvergerer mod én overordnet begrænsning: agenterne mangler en 'metakognitiv loop' – evnen til at tjekke, om det, de producerer, matcher det, de fandt, og til at revidere deres tilgang, når det ikke holder. Vigtigt er det, at de samme fejlmønstre optræder på tværs af alle otte testede kombinationer af model og scaffold, inklusive de stærkeste modeller. Det placerer problemet på modelniveau, ikke i den specifikke agent-arkitektur.

For virksomheder og organisationer, der investerer i AI-drevne forskningsværktøjer, er konsekvensen klar: Autonome agenter kan håndtere dele af arbejdsgangen, men de kan ikke stå alene. Især i domæner, hvor fejl i software kan kompromittere de videnskabelige konklusioner – som nævnt i SWE-bench Science – er der behov for menneskelig opsyn eller hybridløsninger. Samtidig viser ablationsstudiet i SWE-bench Science, at videnskabelig viden ikke altid hjælper: velbegrundet information kan forbedre præstationen, men dårligt afstemt vejledning kan føre til 'anchoring' og forværre resultatet. Det betyder, at det ikke er nok at fodre agenterne med data – kvaliteten og konteksten af den viden, de får, er afgørende.