En ny open source-tilgang til at træne AI-agenter viser, at selv relativt små modeller kan løftes markant i komplekse kodningsopgaver – uden enorme mængder data eller regnekraft. Metoden, kaldet harnessed agentic RL, er præsenteret i forbindelse med udgivelsen af Agent Lightning v1.0, et letvægtsframework på omkring 3.500 linjer kode.
Traditionel agentic reinforcement learning (RL) lader træningsmotoren styre hele interaktionssløjfen med miljøet. Agent Lightning v1.0 vender dette om: Det er den såkaldte harness – den infrastruktur der styrer værktøjer, kontekst og kontrolflow – der ejer interaktionssløjfen, mens træneren kun observerer sekvenser af LLM-request-response-par. Det lyder teknisk, men konsekvensen er praktisk: Agenten kan trænes i de samme rammer, som den senere skal køre i, hvilket gør træningen mere realistisk og effektiv.
Resultaterne taler for sig selv. Med kun 6.000 træningseksempler og begrænset regnekraft forbedrede forskerne Qwen3.5-9B på SWE-bench Verified fra 41,8% til 56,4% – en absolut fremgang på 14,6 procentpoint. SWE-bench er en anerkendt benchmark for, hvor godt AI-modeller løser reelle softwareproblemer, og en forbedring af denne størrelse er bemærkelsesværdig, især for en model på kun 9 milliarder parametre.
For beslutningstagere betyder det, at vejen til stærkere agenter ikke nødvendigvis kræver de største og dyreste modeller. Harnessed agentic RL kan gøre det muligt for virksomheder at opgradere eksisterende, mindre modeller til at klare komplekse opgaver – som kodning, søgning og instruktionsfølgning – uden at skulle investere i massive træningsopsætninger. Frameworket er designet til at understøtte vilkårlige agent-harnesses og kan dermed integreres i eksisterende systemer.
Forskerne bag projektet fremhæver, at metoden adresserer flere centrale udfordringer i agentic RL, herunder retokenisering, sample-merging, fordelingsberegning, loss-normalisering og backend-planlægning – faktorer der ellers kan gøre træningen ustabil. Ved at frigive hele workflowet og træningsscripts gør de det muligt for andre at reproducere og bygge videre på resultaterne.
