En ny forskningsartikel fra Hugging Face foreslår en radikal ændring i, hvordan vi træner såkaldte verdensmodeller – AI-systemer, der skal forstå og forudsige, hvordan verden hænger sammen. I stedet for blot at fodre modellerne med flere videoer og mere regnekraft, argumenterer forskerne for, at vi har brug for en metode, der kan give modellerne klare og pålidelige belønningssignaler under træningen.
Kernen i forslaget er at bruge spiludvikling som en slags 'træningsmotor'. En scene, der er kodet i en spilmotor, fungerer nemlig som en eksekverbar verdensspecifikation: Motoren kan automatisk tjekke for ting som kollision, fysik, navigerbarhed og spilbarhed, mens udvikleren giver det endelige kvalitetsstempel ved at vurdere, om scenen skal accepteres. Det giver en kombination af tætte, tekniske signaler og menneskelig feedback – noget forskerne kalder Reinforcement Learning with Human-Engine Verification (RLHEV).
Forskerne sammenligner med, hvorfor kode-agenter har haft så stor succes: Fordi kode kan eksekveres, kan compilere og runtime-miljøer give højkvalitets-belønninger til forstærkningslæring. Spatial generering – altså generering af 3D-verdener og scener – har derimod hidtil været afhængig af upålidelige proxy-mål som CLIP-scores, der er 'fuzzy' og biased. Det har gjort det svært at bruge forstærkningslæring til at forbedre disse modeller. Spiludvikling tilbyder netop det manglende belønningsmiljø.
For beslutningstagere betyder det noget, fordi det peger på en vej mod mere pålidelige og robuste verdensmodeller – noget der er afgørende for alt fra autonome systemer til simulering og indholdsproduktion. Hvis metoden holder, kan det betyde, at vi kan træne modeller med langt mindre data og med langt større præcision, fordi belønningssignalerne er klare og verificerbare. Det er et strategisk skridt væk fra den nuværende 'mere data, mere compute'-tilgang, som forskerne kalder ineffektiv.
