En ny undersøgelse fra arXiv viser, at seks førende sprogmodeller fra seks forskellige udviklere reagerer markant forskelligt, når de udsættes for bevidst styring – og at nogle reaktionsmønstre kun findes hos en enkelt model. Resultaterne har direkte konsekvenser for virksomheder og organisationer, der skal vælge eller bygge på en AI-model, fordi valget af model ikke bare handler om ydelse, men om hvordan modellen opfører sig under pres.
Undersøgelsen, som er beskrevet i arXiv-papiret, testede 300 par af basale og styrede opgaver på tværs af tre kategorier: værdikonflikter, ræsonneringsfremkaldelse og ræsonneringsundertrykkelse. Alle seks modeller fungerede desuden som blinde dommere og klassificerede hinandens svar ud fra faste adfærdskriterier, hvilket gav 24.480 vurderinger.
Det centrale fund er, at modellerne ikke bare adskiller sig i, hvor meget styring ændrer deres adfærd, men i hvilken type respons de giver. Nogle reaktionsmønstre optræder kun hos en eller to modeller. For eksempel afviser GPT-5 anmodninger om at afsløre sin ræsonneringsproces, men efterlader selve svaret intakt – en adfærd der ses i 99% af tilfældene hos GPT-5, men i 0% hos alle andre modeller. Claude Opus 4.7 og GPT-5 modstår eksplicitte undertrykkelsesinstruktioner, men på forskellige måder.
Forskerne sporede også den største adfærdsforskel til Llama-modellens interne repræsentationer. En lineær probe kunne afkode adfærden fra residualstrømmen med 0,87 nøjagtighed, og ved at injicere den retning under generering steg adfærden fra 0% til 86%.
For beslutningstagere betyder det, at valget af AI-leverandør ikke længere kan reduceres til benchmark-tal. Hvis din organisation har brug for en model, der kan modstå visse former for manipulation eller styring – eller omvendt, er nem at tilpasse – så er der nu evidens for, at modellerne opfører sig fundamentalt forskelligt. Det gør det vigtigt at teste modellerne i de konkrete use cases, hvor de skal bruges, frem for at stole på generiske sammenligninger.
