Når en stor sprogmodel skal svare på et svært spørgsmål, er det almindeligt at lade den svare flere gange og tage flertallets svar. Men på vanskelige spørgsmål kan afstemning være upålidelig, fordi svarene deler de samme fejl – det forkerte svar kan vinde, og flere svar gør beslutningen værre. Et nyt forskningspapir fra arXiv foreslår et alternativ: at læse et korrekthedssignal fra modellens interne tilstande og vælge det svar, modellen 'selv' vurderer bedst.
Metoden, kaldet CASE (Correctness-Axis SElection), træner en lineær port på modellens skjulte tilstand for det svar-token, der vælges. Hovedbidraget er et mål kaldet 'decodability' – en lækagefri måling af, hvor godt porten rangerer de korrekte svar over de forkerte. Dette mål kan forudsige, om selektion vil slå afstemning, med en Pearson-korrelation på r=0.75 og en beslutningstærskel nær AUC=0.60 på hold-out-data.
Resultaterne viser, at CASE forbedrer nøjagtigheden med op til 19 procentpoint på mellemsvære spørgsmål og 16,8 procentpoint på svære spørgsmål sammenlignet med afstemning, på tværs af generelle og medicinske sprogmodeller. Vigtigt er det, at decodability afhænger af den viden, modellen skal huske, ikke af dens størrelse, og forudsigelsen overføres til et uset videnskabeligt domæne inden for 3,8 procentpoint.
For beslutningstagere, der bygger eller køber AI-løsninger, betyder dette, at man nu kan måle på forhånd, om en given model og opgave vil have gavn af selektion frem for afstemning – et praktisk kriterium, der kan spare tid og ressourcer. Forskerne understreger, at en konventionel probe kun ser ud til at være præcis på grund af 'question-identity leakage', som forsvinder under question-grouped evaluering – en advarsel mod at stole blindt på eksisterende evalueringsmetoder.
Læs hele papiret på arXiv for tekniske detaljer.
