En ny metode til dataselektion i AI-træning lover at gøre træning billigere og mere effektiv ved at vælge de mest relevante eksempler ud fra den enkelte models styrker og svagheder. Metoden, kaldet Data-DPO, er præsenteret på arXiv og adresserer et centralt problem: eksisterende tilgange behandler dataværdi som en statisk egenskab og ignorerer, hvordan data passer til den specifikke model, der trænes.
Data-DPO fungerer ved at observere modellens lokale træningsfeedback på forskellige prøver gennem et enkelt 'probing'-skridt. Forskellen i aktiveringer mellem prøver omdannes til parvis præferencer, som bruges til at træne en letvægts-belønningsmodel. Denne model lærer at forstå, hvilke data der er værdifulde for netop den målmodel, der skal finjusteres. I den endelige selektion kombinerer Data-DPO målmodellens præference med eksterne kvalitetsscore og marginal diversitet for at konstruere et stabilt og effektivt træningssubset.
Resultaterne på benchmarks som Vision-Flan og LLaVA-CoT viser, at Data-DPO konsekvent overgår eksisterende dataselektionsmetoder under flere databudgetter og stabilt overgår fuld datatræning. Det betyder, at man kan opnå bedre performance med færre data – en direkte omkostningsbesparelse i træningsprocessen.
For beslutningstagere, der bygger eller køber AI-modeller, er implikationen klar: Dataselektion er ikke længere bare en teknisk detalje, men en strategisk faktor. Evnen til at reducere træningsomkostninger uden at gå på kompromis med kvaliteten kan ændre økonomien i modeludvikling. Virksomheder, der investerer i finjustering af store sprogmodeller, bør overveje, om deres nuværende datastrategi udnytter modellens fulde potentiale – eller om de spilder ressourcer på irrelevante data.
