Når AI-agenter vurderes i stor skala, bruges ofte en anden sprogmodel som automatisk dommer, fordi den egentlige belønning – et eksekverbart miljø – er dyr, langsom eller utilgængelig. Problemet er, at disse dommere har tendens til at kreditere flydende, men mislykkede forløb som succeser. En ny metode, RubricForge, løser dette ved at udlede evalueringsregler fra et lille sæt af sandhedsmærkede forløb, hvilket reducerer antallet af falske succeser med næsten halvdelen sammenlignet med eksisterende tilgange.
Metoden, beskrevet i et nyt arXiv-paper, adskiller sig fra traditionelle dommere som G-Eval ved ikke at håndskrive reglerne eller finjustere vægtene. I stedet 'evolverer' den en rubric gennem reflekterende evolution mod mærkede data, fryser den og anvender den på nye forløb i ét enkelt modelkald – uden adgang til miljøet. Resultatet er en menneskelæsbar tekst, hvor hver vurdering kan henføres til navngivne kriterier.
På tau-bench og WebShop, med en frossen 7B-model som både agent og dommer, viser resultaterne, at den primære gevinst er trofasthed snarere end rå overensstemmelse. RubricForge over-krediterer mislykkede forløb cirka halvt så ofte som en generisk G-Eval-dommer (0.115 mod 0.173 i falsk-pass-rate på tau-bench), og rangerer WebShop-resultater mere trofast (Spearman 0.410 mod 0.370). Selvom forskellen i overensstemmelse ikke er statistisk signifikant, er den lavere falsk-pass-rate afgørende i praksis: et falsk pass sender en ødelagt agent i produktion, mens et falsk fail blot koster et forsøg mere.
For beslutningstagere betyder det, at automatisk evaluering af AI-agenter kan blive mere pålidelig uden at kræve dyr miljøadgang eller manuel rubric-udvikling. Virksomheder, der bygger eller køber agent-løsninger, kan drage fordel af mere troværdige kvalitetsvurderinger, hvilket reducerer risikoen for at implementere fejlbehæftede systemer. Metoden er stadig ny, men dens evne til at producere forklarlige vurderinger med færre falske succeser kan blive et vigtigt værktøj i AI-evalueringslandskabet.
