En ny træningsmetode, Forward Pass Domain Adaptation (FPO), gør det muligt at finjustere store sprogmodeller markant hurtigere og med mindre hukommelse end traditionel finjustering – uden at gå på kompromis med kvaliteten på standard benchmarks. FPO opnår 2,7–3,2 gange højere gennemløb end standard finjustering og bruger cirka 40% mindre peak-hukommelse, samtidig med at modellerne holder sig inden for seed-støj på off-domain benchmarks som MMLU, ARC-Challenge, HellaSwag og Winogrande.
Metoden bygger på en simpel observation: I de sene lag af en transformer-model er output-lagets forudsigelsesfejl en god tilnærmelse af den sande gradient, med en cosinus-lighed på 0,47–0,59 på tværs af seks offentlige modeller. FPO udnytter dette ved at beregne ét fejlsignal ved outputtet og anvende det direkte på hvert mållag – uden at propagere signaler mellem lag og uden at opbygge et autograd-graf. Det betyder, at hele den tunge baglæns-beregning gennem modelkroppen kan springes over.
For beslutningstagere, der skal bygge eller købe finjusteringsløsninger, er implikationen klar: FPO kan reducere både tid og infrastrukturomkostninger betydeligt, især ved hyppig finjustering af store modeller. Metoden er evalueret på tre model-familier (OLMo-2-7B, Qwen3-8B, Falcon3-7B) og viser forbedret in-domain perplexity, mens off-domain benchmarks forbliver upåvirkede – en egenskab, som fuld finjustering ikke pålideligt reproducerer.
En vigtig detalje er dog, at FPO kræver en to-minutters diagnostik for at afgøre, hvilke lag der er egnede til sen-lags-adaptation. Hvis man i stedet forsøger at lokalisere standard finjustering til FPO's mållag, koster det 2,2 gange mere væg-tid end FPO. Dermed er FPO ikke bare en optimering, men en ny tilgang, der ændrer afvejningen mellem hastighed, hukommelse og kvalitet.
