En ny undersøgelse fra arXiv viser, at indlejret aktiveringsstyring i sprogmodeller – en metode til at kode adfærd direkte i vægtene før udgivelse – kan miste sin effekt, når modellen efterfølgende finjusteres. Forskerne testede fem instruktions-tunede modeller (3B-14B) og fandt, at afvisning af uønsket indhold mistede 64% af sin effekt i gennemsnit under standard finjustering (SFT).
Det overraskende er, at selv når adfærden forsvinder, overlever selve vægtændringen næsten intakt: den gennemsnitlige vektor-genfinding var ρ = 0,004, og finjusteringens opdatering langs styringsretningen var næsten ortogonal (cos θ = 0,074) i forhold til det oprindelige mønster. Med andre ord: finjustering fjerner ikke styringen mekanisk – den overstyrer den adfærdsmæssigt.
For beslutningstagere betyder det, at en model, der er 'sikret' før udgivelse, ikke nødvendigvis forbliver sikker efter almindelig eftertræning. Hvis din organisation planlægger at finjustere en open-source model med indlejret styring, skal du genvalidere adfærden bagefter – ikke antage at den stadig virker. Læs hele undersøgelsen på arXiv for detaljer om metoder og resultater.
