En ny benchmark fra arXiv-holdet bag AutoWorldModel-Bench viser, at førende AI-kodningsagenter kan forbedre verdensmodeller markant i et åbent forskningssetup – uden at målet er specificeret på forhånd. Det adskiller sig fra de fleste eksisterende benchmarks, der tester agenter på veldefinerede ingeniøropgaver. I AutoWorldModel-Bench får agenterne en startmodel og et fast compute-budget, og de skal selv finde forbedringer på tværs af otte spilmiljøer. Resultaterne er bemærkelsesværdige: I 63 ud af 64 sessioner forbedrede Codex-5.4 og Claude Opus 4.6 deres startmodel, og i 91% af sessionerne var den vindende ændring en ikke-triviel forskningsmodifikation – en ny objektivfunktion, repræsentation, rollout-procedure eller arkitekturændring – snarere end en simpel hyperparameter-justering.
For beslutningstagere er pointen ikke kun teknisk. Benchmarket viser, at AI-agenter kan udføre åben forskning, hvor retningen ikke er givet på forhånd – noget der traditionelt har været forbeholdt menneskelige forskere. Det har strategiske implikationer for virksomheder, der overvejer at automatisere dele af deres R&D-afdelinger, eller som skal vurdere, hvor langt AI kan drives i ustrukturerede problemstillinger. Samtidig understreger det, at kodningsagenter ikke længere kun er værktøjer til at skrive kode efter specifikation, men kan bidrage til at udforske nye løsninger i komplekse domæner.
Det er dog værd at bemærke, at benchmarket er designet til at isolere dynamikmodellering fra perception – agenterne arbejder med en struktureret repræsentation af spiltilstande, ikke rå pixels. Det gør iterationerne hurtige (minutter per kørsel), men betyder også, at resultaterne ikke direkte oversættes til virkelige forskningsmiljøer med sensoriske input. Alligevel giver det et første robust mål for, hvordan agenter klarer sig i åbne forskningsscenarier – et område, der hidtil har været underbelyst i AI-evaluering.
