En ny undersøgelse fra arXiv viser, at sikkerhedsforanstaltninger i store sprogmodeller (LLM'er) ofte er overfladiske og kan omgås af såkaldt 'semantisk camouflage' – angreb, der pakker skadelig hensigt ind i uskyldige fortællinger. Forskerne bag studiet har dog fundet et svag punkt i angrebsmetoden: tidlige lag i modellerne bevarer en detekterbar 'skadesignatur', selv når de senere lag ikke gør.
Ved at analysere aktivitetsmønstre i tre små sprogmodel-familier (Phi-3, Qwen2.5 og Gemma-2b) under angreb identificerede forskerne en universel 'Intent Horizon' – en kritisk dybde, typisk 15-20% af modellens lag, hvor modellens repræsentation af skadelig hensigt kollapser, når den kontekstualiserer forespørgslen i en 'sikker' fortælling. Dette forklarer, hvorfor standardbeskyttelse ofte fejler: de senere lag kan ikke skelne mellem camouflerede angreb og legitime forespørgsler (detektionsrate under 20%), mens de tidlige lag stadig bærer et tydeligt spor.
På baggrund af dette foreslår forskerne en metode kaldet Latent Intent Verification (LIV), en letvægts-probing-teknik, der uden genoptræning af modellen kan neutralisere hidtil usete ('zero-day') semantiske angreb. Ifølge undersøgelsen overgår LIV standardbeskyttelse med 20-50% på tværs af alle testede arkitekturer, testet på PKU-SafeRLHF-datasættet.
For beslutningstagere, der bygger eller køber AI-løsninger, er implikationen klar: Eksisterende sikkerhedsforanstaltninger er ikke tilstrækkelige mod avancerede angreb, men der findes nu en dokumenteret metode til at styrke forsvar uden at skulle genoptræne modeller – en omkostningstung proces. LIV kan implementeres som et supplement til eksisterende guardrails, hvilket giver virksomheder en hurtigere og billigere vej til at hærde deres systemer mod nye trusler.
