AI-systemer vælger i stigende grad selv mellem flere løsninger, inspicerer beviser og implementerer det bedste output. Men hvor pålidelig er valideringen af sådanne systemer egentlig? Ny forskning fra arXiv præsenterer en matematisk ramme, der gør det muligt at sætte eksakte grænser for, hvor meget man kan stole på resultaterne af såkaldt 'best-of-N' søgning – en metode, hvor systemet genererer N mulige svar og vælger det bedste.
Forskerne bag artiklen viser, at validering er 'target-relative': beviser certificerer kun implementering i de retninger, som de anvendte interventioner faktisk har undersøgt. Dette adskiller replikation – som reducerer sampling-støj – fra nye interventionsretninger, som reducerer strukturel blindhed.
For iid best-of-N søgning (hvor hver generation er uafhængig og identisk fordelt) giver forskerne en eksakt formel for 'ambiguity width' – et mål for, hvor bredt et interval af mulige reliabilitetsværdier der er foreneligt med observationerne. Formlen viser, at usikkerheden skalerer med m²/N, hvor m er antallet af observerede prøver og N er antallet af kandidater. Hvis m er proportional med kvadratroden af N, forbliver usikkerheden omkring 0,83 – hvilket betyder, at man ikke kan indsnævre reliabiliteten væsentligt uden mange flere observationer.
Konsekvensen for praktisk AI-udvikling er en konkret to-gate audit-regel: Først skal man etablere strukturel dækning (sikre at de relevante interventionsretninger er undersøgt), og derefter tilføje uafhængige opgaver for at opnå præcision. Retrospektive studier af matematisk ræsonnering og kodevalg viser, at en score-baseret audit-regel, der er frosset på 82 opdagelsesopgaver, markant reducerer fejl på hold-out data.
For beslutningstagere betyder dette, at validering af AI-systemer ikke kan reduceres til simple benchmarks. Rammen giver et værktøj til at vurdere, hvornår et system er 'godt nok' til implementering – og hvornår man risikerer strukturel blindhed, fordi man kun har testet i de retninger, systemet selv har valgt.
