Forskere har udviklet et nyt framework, der markant forbedrer kvaliteten af AI-modeller trænet på syntetiske data. Metoden, kaldet Agentic Data Evolution (ADE), adresserer et centralt problem: Når AI-modeller trænes på selvgenererede data, er det svært at vide, hvilke data der faktisk er gode nok til at forbedre modellen.
ADE organiserer syntetisk supervision som 'evolverende data-snapshots' og bruger en lukket sløjfe-procedure kaldet Observation-Variation-Selection (OVS). En såkaldt 'steady-state admission mechanism' fungerer som en kvalitetsratchet, der konservativt lukker opdateringer ind og dermed sikrer vedvarende forbedringer over flere runder. Dette løser problemet med støjende signaler, der ellers kan destabilisere iterativ forfining og føre til stille regressioner.
Resultaterne er imponerende: På benchmark'en DEV300 øger ADE den intrinsiske win rate fra 50% til 75,81% og den ekstrinsiske win rate fra 55,20% til 68,86%. Blind ekspertevaluering bekræfter forbedringen med en 66,11% præference for de evolverede svar. Gevinsterne holder på tværs af forskellige post-training-metoder, modelskalaer og opgavetyper ud over de oprindelige svagt verificerbare uddannelsesmål.
For beslutningstagere betyder dette, at syntetiske data kan blive en mere pålidelig og skalerbar vej til at forbedre AI-modeller – især i domæner, hvor menneskelig feedback er dyr eller svær at få. Frameworket er åbent tilgængeligt på GitHub, hvilket gør det muligt for organisationer at implementere metoden direkte i deres AI-pipelines.
