En ny forskningsartikel fra Hugging Face foreslår en alternativ tilgang til finjustering af store sprogmodeller, der bruges som autonome agenter. Metoden, kaldet Agentic ESOpt, bygger på evolution strategies (ES) i stedet for reinforcement learning (RL), og den hævder at kunne reducere hardwarekravene markant – til kun minimal, inference-level GPU-hukommelse. Det gør det muligt at finjustere selv store modeller som Qwen-3.5-27B med fuld parameteroptimering, hvilket tidligere var praktisk umuligt uden massive ressourcer.
Ifølge artiklen har RL flere begrænsninger, når det kommer til langtidshorisonterede agentopgaver: tung backpropagation-baseret træning, der gør det upraktisk at finjustere større modeller, og svær kreditallokering over lange sekvenser. ES løser disse problemer ved at bruge en letvægts, black-box feedback-mekanisme, der ikke kræver nedbrydning af belønninger over tid. Det gør metoden mere skalerbar, efterhånden som horisonten vokser.
På WebArena-Lite forbedrer Agentic ESOpt baseline med 6,69% ved fuld parameteroptimering af Qwen-3.5-27B, og i automatisk heuristik-design forbedrer den sin matchede baseline i 28 ud af 36 indstillinger. Metoden introducerer også en cosinus-henfaldende plan for perturbationsskalaen, hvilket forbedrer balancen mellem udforskning og tilpasning.
For beslutningstagere betyder dette, at finjustering af store agenter ikke længere kræver enorme GPU-klynger. Det kan sænke barrieren for virksomheder, der ønsker at specialisere AI-agenter til komplekse, langvarige opgaver – uden at skulle investere i dyr infrastruktur. Det kan også accelerere udviklingen af autonome systemer inden for kundeservice, forskning og automatisering.
Læs den fulde artikel på Hugging Face for tekniske detaljer og eksperimentelle resultater.
