En ny arkitektur fra Hugging Face-forskningsmiljøet viser, at genbrug af lag i transformer-modeller kan matche kvaliteten af en 12-lags GPT-2 Small med kun tre lag – og med markant lavere hukommelsesforbrug. Gated Recurrent Transformer (GRT) bygger på en simpel idé: i stedet for at have unikke vægte i hvert lag, gentages ét delt kerne-lag flere gange, styret af en opdateringsmekanisme inspireret af gatede rekursive neurale netværk. Det giver modellen mulighed for at specialisere inputtet til de samme få lag på tværs af gentagelser, frem for at kræve mange unikke lag for at opnå funktionel diversitet.
Under et isoFLOPS-budget – samme beregningsmængde – matcher en 3-lags GRT nøjagtigheden af en 12-lags GPT-2 Small baseline, og den overgår både MoR og heavy-tail depth sampling i alle ni scale-by-budget-celler. Ved medium og stor skala nærmer den sig tæt kvalitet ved standard token-budget og overgår den ved medium skala, når budgettet fordobles. Under et isoPARAMS-budget opnår dybere rekursion en valideringsloss på 2,76 mod 2,84 for en ikke-rekursiv modpart med samme parameter- og databudget.
Det mest bemærkelsesværdige resultat for beslutningstagere er dog effektivitetsgevinsten: ved stor skala kræver GRT 63% færre parametre og 59% mindre peak-dekodningshukommelse, mod en stigning på 10% i kompileret generations-latens. Det betyder, at man kan flytte kvalitet og kapacitet til mindre, billigere infrastruktur – eller bruge besparelsen til at træne større modeller inden for samme budget.
For virksomheder, der bygger eller køber sprogmodeller, peger resultatet på en konkret vej til at reducere driftsomkostninger og hukommelsesfodaftryk uden at ofre outputkvalitet. Arkitekturen er stadig på forskningsstadiet, men den understøtter en bredere tendens: at adaptive dybdestrategier – ikke kun flere parametre – kan være nøglen til skalerbarhed.
Læs mere i den originale paper på Hugging Face.
