En ny forskningsartikel på arXiv introducerer TriPLU, en aktiveringsfunktion der erstatter den sædvanlige gated feed-forward-branch med en direkte trilineær produkt-branch. I karakter-niveau TinyStories-studier opnår TriPLU en gennemsnitlig bedste valideringstab på 1.0637, sammenlignet med 1.1017 for SwiGLU og 1.0780 for en grad-4 kontrol. Resultaterne er dog bevidst snævre: forbedringen gælder kun i specifikke lav-compute-regimer og etablerer ikke FLOP-normaliseret effektivitet, skalering eller bred LLM-ydeevne. Læs artiklen på arXiv.
For beslutningstagere, der overvejer at bygge eller købe små sprogmodeller til edge-enheder eller specialiserede opgaver, er pointen ikke, at TriPLU er en mirakelløsning. Det er en indikation på, at der findes alternative arkitekturer, som kan forbedre tab i faste budgetter – men kun under bestemte forhold. Optimiseringsfølsomheden betyder, at implementering kræver omhyggelig tuning, og at fordelene ikke nødvendigvis overføres til større modeller eller højere læringsrater.
Artiklen understreger, at produkt-branch-normalisering kan reducere forskellen i bedste checkpoint ved høje læringsrater, men at endelig bits-per-byte stadig forringes under varme skemaer. Det gør teknologien mindre attraktiv for dem, der søger robuste, skalerbare løsninger.
