En ny træningsmetode fra Hugging Face-miljøet kan lade sprogmodeller forbedre sig selv under brug, uden at der findes et facit. Metoden, kaldet TTPO (Test-Time Policy Optimization), adresserer en af de store begrænsninger ved eksisterende post-træningsmetoder som Reinforcement Learning (RL) og On-Policy Self-Distillation (OPSD): de kræver ground-truth-labels, hvilket forhindrer træning i drift, hvor der ikke er nogen facitliste.
TTPO løser problemet ved at bruge flertalsafstemning blandt modellens egne svar som pseudo-labels i stedet for sande svar. Tidligere forsøg med denne tilgang har været skrøbelige, fordi et enkelt forkert svar kan forurene læreren og vildlede hele træningen. TTPO udnytter en observeret asymmetri: svar der afviger fra pseudo-labelen er typisk forkerte, uanset om afstemningen selv er korrekt. Derfor destillerer metoden de svar, der er enige, og straffer de uenige med grupperet RL.
Resultaterne er bemærkelsesværdige: Uden nogen labels matcher TTPO facitliste-superviseret OPSD på fem konkurrence-niveau benchmarks, løfter Qwen3-1.7B fra 38,0% til 45,2% i test-time-træning, og giver +25,2% til +36,4% forbedring uden tænkning. Metoden viser også stærk kryds-opgave generalisering.
For beslutningstagere betyder det, at AI-modeller kan blive bedre over tid i produktionsmiljøer, hvor der ikke findes klare svar — fx i kundesupport, juridisk analyse eller medicinsk rådgivning. Det reducerer behovet for manuelt labeled data og kan gøre modeller mere adaptive og robuste i virkelige anvendelser. Teknisk set er detaljerne i paperet, men strategisk er pointen klar: selvforbedrende modeller uden facitliste er ikke længere kun forskning, men en praktisk mulighed.
