Forskere bag en ny metode til træning af AI-modeller, der bruger "verifiable rewards" (RLVR), har identificeret og løst en statistisk skævhed, der hidtil har gjort adaptiv ressourcetildeling ineffektiv. Metoden, kaldet PAIR (Pairwise-Aware Inclusion Reweighting), reducerer token-forbruget med op til 52% sammenlignet med standardmetoden GRPO, samtidig med at nøjagtigheden forbedres med op til +1.4 procentpoint. Det fremgår af arXiv-papiret.

Kernen i problemet er, at eksisterende allocatorer, der fordeler compute-budgetter til prompts, rollouts eller tokens, antager, at gradienten kan beregnes som summen af uafhængige punktbidrag. Men forskerne viser, at gradienten i virkeligheden er en andenordens U-statistik over par af rollouts. Det betyder, at når én rollout fuldføres, afslører den kontrast til alle andre fuldførte rollouts — og adaptiv endpoint-selektion ændrer, hvilke par-termer der er observerbare. Denne mismatch har gjort adaptiv tildeling statistisk biased.

PAIR løser dette ved at behandle korte rollout-præfikser som knuder og pair-gradient-termer som kanter i en "contrast graph". En præfiks-baseret prædiktor estimerer korrekthed og resterende token-omkostning, og et konvekst design vælger positive fortsættelsessandsynligheder under et forventet suffix-token-budget. Hver kant, der induceres af fuldførte knuder, vægtes invers med sin loggede fælles inklusionssandsynlighed. Dette gør estimatoren design-unbiased for den fulde kandidat-pair-gradient under betinget uafhængige on-policy rollouts.

I compute-matchede RLVR-kørsler på Qwen3-1.7B og Qwen3-4B forbedrer PAIR den gennemsnitlige nøjagtighed med +1.2 og +1.4 over den stærkeste pointwise-allocator, mens den bruger henholdsvis 51% og 52% færre genererede tokens end fuld-gruppe GRPO. En audit med frossen population bekræfter, at u vægtet adaptiv selektion er biased, mens pair-inclusion-korrektionen genfinder det fulde pair-target ved matchet suffix-omkostning.

For beslutningstagere betyder det, at træning af reasoning-modeller kan blive markant billigere og mere effektiv. Hvis metoden holder i bredere skala, kan den reducere compute-omkostninger for virksomheder, der bygger eller finetuner modeller med verifiable rewards — et område, der ellers er kendt for at være ekstremt compute-intensivt. Det kan også gøre adaptiv ressourcetildeling mere pålidelig, hvilket er relevant for alle, der investerer i eller bygger AI-infrastruktur.