Når en AI-model komprimeres for at køre hurtigere og billigere i produktion, kan en tilsyneladende ubetydelig teknisk detalje få uforudsete konsekvenser. Ny forskning fra arXiv viser, at kvantisering af en models hukommelses-cache kan få modellen til at skifte, hvilke 'eksperter' der aktiveres – og at en tredjedel af den resulterende skade skyldes netop dette skift.

Forskerne bag studiet undersøgte, hvad der sker, når en såkaldt Mixture-of-Experts-model (MoE) – en arkitektur, hvor forskellige 'eksperter' håndterer forskellige opgaver – udsættes for 4-bit kvantisering af dens KV-cache, en teknik der bruges til at reducere hukommelsesforbruget. Resultatet: omkring 31% af skaden på modellen OLMoE-1B-7B kan tilskrives, at kvantiseringen får modellen til at vælge andre eksperter end normalt.

Det centrale fund er dog ikke selve skaden, men at den er svær at håndtere. Forskerne viser, at man kan opdage, at et skift er sket – med en AUC på 0,772 – men at man ikke kan afgøre, om skiftet er skadeligt eller gavnligt. Ingen af de testede, observerbare router-statistikker kunne forudsige, om et skift ville øge eller mindske modellens fejl. Det betyder, at selektiv reparation – at gribe ind kun, når skiftet er skadeligt – ikke er muligt med de nuværende metoder.

Studiet er metodisk stærkt: hypoteser, tærskler og evalueringer blev præ-registreret før målingerne, og resultaterne blev gentaget på tværs af tre arkitekturer. En uafhængig replikation med en rigtig int4-kernel var dog ikke kraftig nok til at bekræfte resultatet uafhængigt, men udelukker heller ikke grov uenighed.

Hvad betyder det for dig?

For beslutningstagere, der overvejer at kvantisere modeller for at reducere omkostninger eller latens, er implikationen klar: Kvantisering er ikke en gratis omgang. Selvom modellen ser ud til at fungere, kan den underliggende routing ændre sig på måder, der er svære at forudsige eller reparere. Det betyder, at grundig evaluering på den specifikke opgave er afgørende, før man ruller kvantiserede modeller ud i produktion.

Studiet peger også på et bredere problem: Værktøjer til at diagnosticere og reparere kvantiseringsskader er stadig umodne. Indtil der findes metoder, der kan skelne skadelige fra gavnlige skift, må organisationer acceptere en vis risiko eller investere i mere konservative kvantiseringsstrategier.