Et nyt benchmark, Evo-Bench, introducerer for første gang en systematisk måde at vurdere, hvor godt sprogmodeller kan optimere deres egen 'harness' – det vil sige det styrende lag, der omsætter modeloutput til handlinger i værktøjer som søgning, tekstbehandling og generelle agentopgaver. Hidtil har evalueringer af autonome agenter fokuseret på statisk opgaveløsning, men Evo-Bench flytter fokus til en ny front: evnen til selvstændigt at forbedre de rammer, agenten opererer indenfor.
Benchmarket adskiller sig ved at isolere harness-forbedringer fra modellens grundstyrke, forhindre overfitting til specifikke opgaver og fange langtidshorisont, iterativ forskning. Resultaterne viser, at topmodeller opnår massive absolutte forbedringer på op til 16,6 point – tæt på niveauet for menneskeskabte baselines. Men der er markante forskelle: Mens autonom evolution overgår kunstige harnesses i generelle opgaver og klarer sig godt i søgeopgaver, halter det i kontoropgaver, der kræver meget specifikke arbejdsgange.
For beslutningstagere betyder det, at valget af AI-løsning ikke kun handler om modellens rå intelligens, men også om dens evne til at tilpasse og forbedre sin egen integration i virksomhedens værktøjer. Virksomheder, der overvejer at implementere autonome agenter til komplekse, iterative processer – for eksempel forskning eller dataanalyse – kan drage fordel af modeller, der selv kan optimere deres arbejdsgang. Omvendt bør kontororienterede workflows, hvor præcise processer er afgørende, stadig stole på menneskeligt designede løsninger.
Evo-Bench afslører også kritiske tidsmæssige anomalier som tidlig mætning, hvilket indikerer, at modellernes evne til selvforbedring kan have et loft, der ikke er umiddelbart synligt i statiske tests. Samtidig viser analysen, at de syntetiske harnesses fungerer som overførbare ræsonnementstrukturer, der konsekvent forbedrer forskellige politikmodeller – en egenskab, der kan udnyttes på tværs af modeller og systemer.
