En ny benchmark, DSAgentBench, sætter for første gang AI-agenter til at løse komplette data-science-opgaver i et rigtigt computer-miljø – ikke i en forenklet sandkasse. Resultatet er nedslående: selv den stærkeste model, Claude-4.6-Sonnet, klarer kun 56,7 % af opgaverne, mens alle open-source-agenterne ligger under 1 %.
Det er første gang, en benchmark evaluerer agenter på hele data-science-arbejdsgangen – fra dataoprydning og udforskning til modellering, visualisering og validering – i et miljø, hvor de skal koordinere værktøjer som notebooks, terminaler, browsere og databaser. Tidligere benchmarks har typisk kun testet enkeltdele eller kørt i isolerede miljøer, hvilket ikke fanger kompleksiteten i praksis.
For beslutningstagere er pointen ikke kun, at modellerne fejler. Pointen er, at der findes en deterministisk evaluator, der verificerer analytisk korrekthed, visuelle output og modelperformance – ikke bare om koden kører. Det betyder, at man nu kan måle og sammenligne agenters reelle evne til at levere brugbare resultater, hvilket er afgørende, hvis man overvejer at automatisere data-arbejdsgange i sin organisation.
De 275 opgaver i DSAgentBench dækker hele data-science-livscyklussen og kræver, at agenten træffer beslutninger baseret på mellemliggende resultater og koordineret værktøjsbrug. At open-source-modellerne scorer under 1 % viser, at der er lang vej, før automatisering af komplekse data-opgaver er realistisk med åbne modeller – og at selv de bedste lukkede modeller har betydelige begrænsninger.
