En ny træningsmetode for sprogmodeller, Best Practice Critic Optimization (BPCO), løser et længe kendt stabilitetsproblem og gør kritik-baseret forstærkningslæring til et reelt alternativ til de gruppebaserede metoder, som i dag dominerer. Det fremgår af et nyt paper på Hugging Face.
Gruppebaserede metoder som GRPO undgår at træne en kritik-model ved at sample flere svar per prompt. En pålidelig kritik kunne i stedet estimere fordele på token-niveau ud fra ét enkelt svar, men standard-opsætninger har været ustabile. BPCO kombinerer flere designvalg — blandt andet værdiprediktioner afgrænset til belønningsintervallet, Monte Carlo-værdimål og længde-adaptiv generalized advantage estimation — og opnår dermed stabilitet.
Fordi kritikeren kun bruges under træning, kan BPCO også give den adgang til belønningsdefinerende information, såsom et referencesvar eller en bedømmelsesrubrik, som er skjult for selve politikken. I kontrollerede eksperimenter på matematiske ræsonneringsopgaver med modeller fra 1,5B parametre til 30B-A3B mixture-of-experts forbedrer BPCO en stærk kritik-baseret baseline konsekvent og matcher eller overgår en gruppebaseret baseline, mens den kun sampler ét svar per prompt. Metoden forbedrer også læring med rubrik-baserede belønninger.
For beslutningstagere betyder det, at man kan opnå samme eller bedre resultater med markant færre beregningsressourcer — og at man kan udnytte information i træningen, som man ikke ønsker at eksponere i selve modellen. Koden er offentligt tilgængelig på GitHub, så metoden kan afprøves direkte.
