En ny undersøgelse fra arXiv viser et markant hul i, hvordan sprogmodeller kan overvåges i drift. Lineære prober – simple klassifikatorer trænet på modellens interne repræsentationer – kan opdage korrumperet kontekst med næsten perfekt præcision, men denne viden omsættes ikke til pålidelig forudsigelse af fejl. Resultatet er en dissociation med direkte implikationer for deployment-monitorering.
Forskerne testede modeller på multi-hop aritmetiske kæder og fandt, at prober, der detekterer korruption, er uinformative om, hvorvidt det endelige svar er korrekt. Når modeller tvinges til strukturerede konfidensformater, kollapser værdierne til to niveauer med umulige at adskille fejlrater. Desuden adskiller probe-persistens på tværs af hops ikke korrekte fra ukorrekte udfald, hvilket afkræfter den forudregistrerede hypotese om, at vedholdenhed slår peak.
Mønsteret – at vide uden at sige – gentager sig på tværs af modelfamilier, inklusive ræsonneringsmodeller. Som real-time monitor er probe-baserede interventioner stærkt afhængige af både model og fejltype: branch-and-pick er netto-positiv på tværs af modeller og unikt ikke-ødelæggende på Llama-3.1-8B (4 reddet, 0 brudt), mens reprompt og replace-prior bryder korrekte spor i samme takt, som de redder forkerte.
For beslutningstagere, der bygger eller køber AI-systemer, betyder det, at verbaliseret konfidens ikke er nok. Probe-baseret monitorering er en nødvendig komplementaritet, men ingen enkelt intervention dominerer. Den anvendelige løsning er model- og fejltypebevidst routing – ikke en universel overvågningsmekanisme.
