LLM-agenter er stadig upålidelige på langvarige opgaver, hvor små fejl kan forstærkes over tid og føre til samlet fiasko. Selvom eksterne styringssystemer (harnesses) kan forbedre robustheden markant, er design af disse systemer en manuel og kostbar proces, der kræver afsøgning af et stort rum af prompts, værktøjskonfigurationer og kontrollogik.
Forskere foreslår nu AutoSaddler, et automatisk rammeværk, der behandler harness-optimering som et offline læringsproblem og løbende opdaterer harnesset baseret på fejlsignaler fra mini-batches. Metoden kombinerer fejldiagnose, struktureret patch-generering (hvor harnesset behandles som kode) og valideringsbaseret udvælgelse af opdateringer.
På benchmarks som GAIA2, SWE-Bench Pro og Terminal-Bench 2.0 opnår AutoSaddler forbedringer på henholdsvis 9,0, 9,6 og 10,0 procentpoint sammenlignet med de oprindelige harnesses. Ablationsstudier viser, at effektiv optimering kræver tre ingredienser: dyb debugging frem for overfladisk refleksion, målrettede ændringer frem for ubegrænset redigering, og generaliseringsbevidst udvælgelse frem for trajektorie-specifik reparation.
For beslutningstagere betyder dette, at automatisk harness-optimering kan reducere den manuelle indsats og forbedre pålideligheden af agent-systemer i produktion. Det er et skridt mod mere robuste AI-løsninger, hvor virksomheder kan opnå bedre ydeevne uden at investere store ressourcer i manuel tuning.
