En ny undersøgelse fra arXiv udfordrer en udbredt antagelse i AI-træning: at data, som en model nemt kan lære fra, altid er at foretrække. Forskningen, beskrevet i papiret 'Capacity-Dependent Effects of Data Selection for Reasoning', viser, at værdien af såkaldt 'high-likelihood' data – eksempler der ligger tæt på modellens nuværende kunnen – afhænger kritisk af både modelstørrelse og hvor længe træningen kører.
For beslutningstagere, der investerer i eller bygger AI-systemer, betyder det, at valget af træningsdata ikke kan reduceres til en simpel tommelfingerregel. Forskerne observerede et mønster, de kalder 'Fast-Fit / Slow-Gain': Mindre modeller (1,5B parametre) får hurtige og stabile forbedringer fra 'high-likelihood' data, mens større modeller (op til 8B parametre) drager større fordel af 'low-likelihood' data – men kun hvis træningen får lov at fortsætte længere.
Forklaringen ligger i læringsdynamikken: Små modeller har svært ved at absorbere 'low-likelihood' supervision og falder i stedet for i gentagne eller overfladiske adfærdsmønstre, mens større modeller bedre kan bevæge sig mod lærerens distribution under sådanne data. Dette har direkte konsekvenser for, hvordan virksomheder planlægger deres træningsbudgetter og modelvalg.
For dem, der bygger eller køber AI-løsninger, er pointen klar: Effektiv dataudvælgelse bør være opmærksom på modelkapacitet og beregningsbudget, ikke baseret på en universel præference for 'high-likelihood' supervision. Hvis du investerer i store modeller, kan det betale sig at give dem mere udfordrende data og længere træningstid – men for mindre modeller er hurtige gevinster vigtigere end langsigtede forbedringer.
