En ny metode til finjustering af kvantiserede sprogmodeller lover betydelige forbedringer i både effektivitet og ydeevne. Forskere har introduceret AuroOFT, som udvider eksisterende kvantiseret ortogonal finjustering (qoft) med en ikke-lineær residual-struktur. Ifølge det tekniske paper på arXiv kan metoden forbedre resultaterne med 1,30-2,70% sammenlignet med standard qoft og hele 6,52-10,62% i forhold til den populære QLoRA-teknik, samtidig med at den bruger 32,3-44,7% færre trænbare parametre.
For beslutningstagere, der overvejer at implementere eller investere i effektiv modeltilpasning, er dette relevant, fordi det adresserer en central udfordring: at opnå høj ydeevne uden at kræve enorme beregningsressourcer. AuroOFT bevarer stabiliteten fra qoft ved at holde en kvantiseringskompatibel gren, mens den tilføjer en såkaldt 'zero-start gated low-rank nonlinear residual' til hvert tilpasset lag. Det betyder, at modellen kan lave mere komplekse, input-afhængige korrektioner, som tidligere var begrænset til lineære transformationer.
Metoden er testet på Qwen2.5-modeller i størrelserne 1,5B og 3B parametre, og resultaterne viser konsistente forbedringer. Selvom det lille matematik-test-sæt kun bruges som en diagnostisk indikator, understøtter de overordnede resultater metodens potentiale. Koden er offentligt tilgængelig i et anonymt repository, hvilket gør det muligt for virksomheder at afprøve metoden direkte.
For dem, der bygger eller køber AI-løsninger, betyder dette, at man kan opnå bedre modelkvalitet med færre ressourcer – en kombination, der kan sænke omkostningerne ved at tilpasse sprogmodeller til specifikke opgaver. Det er endnu et skridt mod mere praktisk anvendelig og økonomisk bæredygtig AI.
