To nye forskningsartikler fra Hugging Face peger på et centralt problem for virksomheder, der overvejer at sætte AI-agenter i arbejde: De er langt fra pålidelige nok til komplekse, virkelige opgaver. StartupBench, en ny benchmark baseret på markedsvaliderede AI-produkter, viser, at selv den stærkeste model kun gennemfører cirka 30 % af opgaverne korrekt. Den anden undersøgelse evaluerer syv frontløber-modeller på 36 langsigtede forsknings- og udviklingsopgaver og konkluderer, at agenterne fungerer mere som 'engineering optimizers' end som selvstændige forskere – de kan formulere og implementere praktiske løsninger, men deres præstation varierer markant, og ægte metodisk nyskabelse er sjælden.
For beslutningstagere er implikationen klar: AI-agenter er ikke klar til at overtage komplekse, selvstændige arbejdsopgaver uden tæt menneskelig overvågning. StartupBench's resultat – at selv de bedste modeller fejler på 70 % af opgaverne – understreger, at virksomheder, der planlægger at automatisere hele workflows, bør forvente betydelige fejl og behov for menneskelig indgriben. Samtidig viser den anden undersøgelse, at agenternes præstation er ustabil: De kan løse en opgave godt én gang og fejle den næste, hvilket gør dem upålidelige til opgaver, hvor konsistens er kritisk.
Begge studier peger på specifikke svagheder: kompleks instruktionsfølgning og domænespecifik ekspertise er de største fejlkilder i StartupBench, mens erfaringsoverførsel mellem opgaver både kan hjælpe og vildlede agenterne i det andet studie. For virksomheder betyder det, at investering i AI-agenter bør fokusere på velafgrænsede opgaver med klare successkriterier, ikke på brede, autonome roller. Det er også værd at bemærke, at begge studier understreger, at nuværende evalueringsmetoder – der kun ser på slutresultater – skjuler vigtige processuelle svagheder, hvilket gør det svært for købere at vurdere agenternes reelle kapabiliteter på forhånd.
