Et nyt forskningsframework, AutoDesign, viser, at AI-systemer kan lære at forbedre deres egen arbejdsgang over tid – og dermed opnå resultater, der overgår kommercielle, lukkede systemer. Frameworket, udviklet af forskere og præsenteret på Hugging Face, er designet til at håndtere komplekse, langvarige opgaver, hvor et AI-system skal koordinere mange trin for at nå et mål – eksempelvis at omdanne en akademisk artikel til en præsentabel poster.

Kernen i AutoDesign er en såkaldt meta-harness-optimering: En overordnet optimeringsmekanisme guider en kodeagent til løbende at forbedre det system, der styrer arbejdsgangen, baseret på feedback fra tidligere forsøg. Det betyder, at systemet ikke bare udfører en fast opskrift, men aktivt lærer af sine egne resultater og justerer sin tilgang – en form for rekursiv selvforbedring, som eksisterende systemer ikke tilbyder.

For at teste frameworket introducerer forskerne PosterBench, en benchmark med 100 akademiske artikler fra fem discipliner, samt en mindre kontrolversion. På hovedsporet opnår AutoDesign en score på 78,32 – 7,45 point højere end det kommercielle system Claude Design. I syv kontrollerede konfigurationer med forskellige kodeagenter forbedrer integrationen af det lærte DesignHarness konsekvent præstationen, med en gennemsnitlig stigning fra 54,99 til 67,39 – en forbedring på 12,4 procentpoint.

Et af de mest bemærkelsesværdige resultater er dog omkostningseffektiviteten: I en fuldt autonom langvarig kørsel udførte AutoDesign 253 værktøjskald og 11 redigeringsrunder på 40 minutter for under 3 dollars – og nåede ifølge menneskelig evaluering op på gennemsnitlig konferenceposter-kvalitet. En blindet menneskelig undersøgelse viste desuden, at AutoDesign opnåede den højeste præference blandt de evaluerede systemer.

For beslutningstagere er implikationen klar: Evnen til selvforbedring kan blive en afgørende konkurrenceparameter. Hvor virksomheder i dag ofte køber færdige AI-løsninger med faste arbejdsgange, peger AutoDesign mod en fremtid, hvor systemer kan tilpasses og optimeres automatisk til specifikke opgaver – uden manuel tuning og til en brøkdel af prisen. Det kan ændre både indkøbsbeslutninger og forventninger til, hvad AI kan levere i komplekse, videnskrævende processer.