En ny forskningsartikel fra arXiv viser, at en simpel justering i en af de mest udbredte teknikker til at finjustere AI-modeller kan løse to problemer på én gang: den kan beskytte de følsomme data, der bruges til at træne belønningsmodeller, og den kan forhindre, at modellen udnytter fejl i disse belønningsmodeller – et fænomen kaldet reward hacking.
Forskerne bag PrivBoN og PrivITP viser, at ved at tilføje kalibreret støj til belønningsscorerne, før modellen vælger det bedste svar, opnår man både differentiel privatliv (en matematisk garanti for, at enkeltpersoners data ikke kan genkendes) og en form for regularisering, der forhindrer modellen i at overoptimere på belønningsmodellens fejl.
Det centrale resultat er, at når privatlivsbudgettet overstiger en kritisk tærskel, er den støj, der kræves for privatliv, faktisk den optimale regularisering – hvilket betyder, at privatliv ikke koster ekstra i form af modelkvalitet. Dette matcher den teoretiske grænse for, hvor godt en model kan præstere under disse betingelser.
For beslutningstagere, der overvejer at implementere AI-løsninger med personlige data, er dette en vigtig udvikling. Hidtil har der været en antagelse om, at privatlivsbeskyttelse altid kommer med en trade-off i form af nedsat ydeevne. Denne forskning udfordrer den antagelse og åbner for, at virksomheder kan tilbyde stærkere databeskyttelse uden at gå på kompromis med kvaliteten af deres AI-modeller.
Forskerne har også udviklet en mere avanceret variant, PrivITP, som adskiller regulariseringsparameteren fra privatlivsparameteren, hvilket giver større fleksibilitet i praksis. Eksperimenter på tværs af flere sprogmodeller og datasæt viser, at begge metoder er skalerbare og forbedrer sig med flere svar – i modsætning til traditionel Best-of-N-sampling, som forringes efter et vist punkt.
