Forskere har udviklet en metode til at udtrække en såkaldt 'valensakse' – en intern retning i sprogmodeller, der sporer, hvor positiv eller negativ en sætning er – ved hjælp af blot ni følelseskategorier og 50 korte narrative afsnit per følelse. Det er omkring 1.500 færre labels end den sædvanlige superviserede tilgang, skriver de i et nyt paper på arXiv.
Metoden går ud på at indlejre ni følelsesankrede historier i en frossen encoder og tage den primære retning af de ni gennemsnitlige indlejringer. Når nye input projiceres på denne akse, opnår modellen 93% af den superviserede ydeevne på SST-2 (Llama-3-8B-Instruct, AUC 0.772 vs. 0.828), korrelerer med menneskelige valensvurderinger på 11.811 EmoSet-billeder (r=0.636) og når AUC 0.906 på ESC-50-lyd.
Det bemærkelsesværdige er, at den samme retning optræder i vision-, audio- og hjerne-encodere, der aldrig er trænet sammen. En 2-parameter klassifikator trænet på tekstlabels overføres til billeder (AUC 0.961), lyd (0.764) og hjerneoptagelser (0.828) uden labels fra måldomænet. En generisk 16-dimensional underrum forbliver på chance-niveau (0.525).
Metoden er dog begrænset til kontinuerte attributter – syv tests på kategoriske koncepter giver næsten chance-niveau – og styringen er familiespecifik: den virker for Llama og Mistral, men ikke for Qwen og Gemma.
For beslutningstagere betyder det, at man kan få indsigt i modellers følelsesmæssige tone uden at investere i store, manuelt annoterede datasæt. Det kan være relevant for alt fra content moderation til brugeroplevelsesanalyse og AI-styring, hvor forståelse af modellens interne repræsentationer bliver vigtigere.
