En ny forskningsartikel fra Hugging Face formaliserer et hidtil overset problem i moderne sekvensmodeller: prefix invariance — at repræsentationen på position t ikke må afhænge af fremtidige inputs. Med en letvægts-audit, der kræver to forward passes og ingen træning eller gradienter, lokaliserer forskerne præcist, hvor kausalitet brydes. Læs artiklen.
Resultaterne er slående: På tværs af 192 injicerede fejl-forsøg på otte checkpoints fandt traditionel mask-inspektion ingen fejl, mens den nye audit lokaliserede alle 192/192. Metoden afslørede også en defekt i Zamba2 og Nemotron-H — modeller, der ellers er blevet betragtet som robuste.
For beslutningstagere, der bygger eller køber AI-systemer, er implikationen klar: At stole på korrekte attention-masker er ikke tilstrækkeligt. Lækager kan opstå via scans eller normalisering, selv når maskerne er korrekte. Det betyder, at eksisterende valideringsprocesser kan overse alvorlige fejl i modeller, der bruges i produktion — med potentielle konsekvenser for pålidelighed og sikkerhed.
