En ny systematisk undersøgelse af såkaldte Massive activations (MA) i hybride lineær attention-sprogmodeller viser, at disse aktiveringer følger et arkitektur-afhængigt mønster, der kan få betydning for, hvordan fremtidens AI-modeller designes og optimeres. Forskerne bag undersøgelsen har identificeret to distinkte former for MA: 'pre-attention spikes' (PAS), der opstår umiddelbart før fulde attention-lag, og 'inter-spike plateaus' (ISP), hvor aktiveringerne fortsætter gennem mellemliggende lineær attention-lag. Resultaterne er baseret på fem forskellige lineær attention-arkitekturer, seks hybridiseringskonfigurationer, fem datadomæner og repræsentative open-source hybridmodeller fra 1,2B til 397B parametre.

For beslutningstagere er det centrale fund, at mønsteret er konsistent på tværs af modeller og skalaer – og at det responderer asymmetrisk på output-gating. Kontrolleret prætræning af GDN-baserede hybrider i op til 1,3B parametre viser, at fuld attention-output-gating dæmper aktiveringsmagnituderne markant uden at fjerne deres lagvise organisering, mens fjernelse af GDN-gates kun giver en moderat forstærkning. Det betyder, at man kan styre aktiveringsniveauet i modellen uden at ændre dens grundlæggende struktur – en vigtig detalje, hvis man overvejer at købe eller bygge hybridmodeller til specifikke use cases.

Mekanistisk set understøtter undersøgelsen en fælles livscyklus for MA, styret af timingen for deres annullering. PAS følger en lokal 'write-sink-cancel'-proces, mens ISP's længerevarende persistens skyldes forsinket annullering. Ved fuld attention-grænsen genfinder denne forklaring den stabile MA-morfologi, der kendetegner fulde attention-modeller. Det giver en teoretisk ramme, som kan bruges til at forudsige, hvordan en given hybridarkitektur vil opføre sig – og dermed til at træffe mere informerede valg, når man skal vælge eller designe en model til en konkret opgave.

Selvom undersøgelsen er teknisk, har den strategisk værdi: Den giver en forklaringsmodel for, hvorfor nogle hybride modeller opfører sig som de gør, og den peger på, at output-gating er et effektivt værktøj til at kontrollere aktiveringsniveauet. For virksomheder, der overvejer at investere i hybrid lineær attention-arkitekturer – eksempelvis for at reducere beregningsomkostninger – er det værd at vide, at aktiveringsmønstrene er forudsigelige og kan styres. Koden er offentligt tilgængelig, hvilket gør det muligt at reproducere resultaterne og selv undersøge modellernes adfærd.