Forskere har præsenteret en ny træningsmetode, der kan gøre det markant billigere og enklere at finjustere AI-modeller, der genererer data – eksempelvis billeder eller video. Metoden, kaldet Self-OPD, eliminerer behovet for en separat 'lærermodel', som traditionelt bruges til at guide træningen. Det fremgår af et nyt paper på Hugging Face.
Traditionel on-policy distillation (OPD) kræver en specialiseret lærermodel for hvert nyt mål, hvilket er både beregningstungt og kan føre til fejl, fordi lærer og elev-modellen ikke altid er enige. Self-OPD vender i stedet processen om: Modellen bruger sin egen udforskning som vejledning. Ved hvert trin genererer den flere mulige næste skridt, sammenligner dem med et fast referencepunkt og justerer derefter sin adfærd mod de bedste resultater og væk fra de dårligere.
For virksomheder, der bygger eller køber AI-løsninger, betyder det potentielt lavere omkostninger til træning og hurtigere iteration, når modeller skal tilpasses nye opgaver. Metoden håndterer også flere mål samtidig uden at skabe konflikter mellem dem – en udfordring, der ofte opstår, når man eksempelvis vil optimere både kvalitet og hastighed.
Selvom resultaterne er lovende på benchmark-tests, er der tale om forskning, der endnu ikke er bredt implementeret i kommercielle produkter. Men for beslutningstagere, der følger AI-udviklingen tæt, er det værd at notere sig: Evnen til at træne modeller uden dyre lærermodeller kan ændre økonomien i modeltilpasning og gøre avancerede AI-systemer mere tilgængelige for flere aktører.
