En ny undersøgelse fra arXiv udfordrer en udbredt antagelse i AI-branchen: at høje scorer på populære kodningsbenchmarks som SWE-bench og LiveCodeBench afspejler en models generelle kodningsevne. Forskerne bag studiet argumenterer for, at optimering mod disse benchmarks måler task-specifik præstation, ikke bred kunnen – og at dette skaber et reelt meningsgab mellem målte scorer og de krav, som virksomheder og udviklere stiller.
Ved at træne modeller på SWE-bench-trajektorier og teste dem på et nyt Django-baseret benchmark fandt de, at rangordener fra benchmarks sjældent generaliserer. Post-trænede checkpoints viste minimal cross-task-overførsel, og SWE-bench-optimering gav ingen eller begrænsede gevinster på deres egne opgaver eller på LiveCodeBench. Tilsvarende fejlede fine-tuning på individuelle Django-modaliteter i at overføre til andre opgaver.
Konsekvensen er klar: En lille mængde benchmarks er utilstrækkelig til at evaluere forskellige modeller under benchmark-optimeringspres. Forskerne anbefaler differentieret evaluering – holistisk vurdering for frontlinjemodeller, multi-task-suiter til forskning og human-in-the-loop-studier til snævre applikationer. De opfordrer også til at etablere en kapabilitetstaksonomi og løbende vedligeholdelse af benchmarks frem for engangsudgivelser.
For beslutningstagere, der skal vælge eller investere i AI-modeller, betyder det, at en imponerende benchmark-score ikke er tilstrækkelig dokumentation. Uden pålidelige evalueringsstandarder risikerer ingeniører og forskere at træffe beslutninger om udvikling og implementering baseret på utilstrækkelig evidens – en risiko, der kan koste både tid og penge.
