Video-baserede verdensmodeller — AI-systemer, der forudsiger fremtidige tilstande i et miljø ud fra observationer og brugerhandlinger — har gjort store fremskridt med hensyn til videokonsistens og handlingskontrol over lange sekvenser. Men en retfærdig sammenligning af disse interaktive modeller har været vanskelig, fordi en menneskelig spiller typisk evaluerer en verdensmodel ved at forfølge langsigtede mål gennem interaktion. For eksempel kan en bruger dreje 360 grader for at se, om miljøet forbliver konsistent, eller gå ud i vandet for at inspicere, om der genereres realistiske vandkrusninger. Den handlingssekvens, der kræves for at opnå samme mål, kan variere betydeligt mellem modeller, hvilket gør fast handlingsbetinget evaluering uegnet til sammenligning på tværs af modeller.
For at løse dette har forskere introduceret PlayWorld, et benchmark med 171 scenarier, hver med et specificeret mål. PlayWorld bruger multimodale agenter til at interagere med verdensmodeller mod disse langsigtede mål og evaluerer dem langs fire kerne dimensioner: geometrisk konsistens, interaktionsfidelitet, udvikling uden for synsfeltet og indsigtsudvikling. Derudover inkluderer det grundlæggende evnemålinger for videokvalitet og kontrolbarhed.
Eksperimenter på ni state-of-the-art verdensmodeller viser, at nuværende modeller forbliver upålidelige på langsigtede interaktive mål, især med hensyn til at opretholde rumlig konsistens og vedvarende tilstandsudvikling. Koden og data er tilgængelige på GitHub.
For beslutningstagere betyder dette, at verdensmodeller endnu ikke er klar til applikationer, der kræver pålidelig langtidshorisont-interaktion, såsom simuleringer, spil eller robotstyring. Investeringer i sådanne teknologier bør tage højde for disse begrænsninger, og virksomheder, der overvejer at bygge på verdensmodeller, bør nøje vurdere deres evne til at håndtere komplekse, målrettede opgaver.
