Video-genereringsmodeller sælges i stigende grad som "verdensmodeller" – systemer der ikke bare laver video, men forstår, hvordan verden fungerer. Men et nyt benchmark fra Hugging Face-forskningsmiljøet viser, at de nuværende modeller har en fundamental svaghed: De kan ikke reproducere den fulde vifte af mulige udfald, når fysiske processer kan udfolde sig på flere måder.
PAWBench formaliserer et krav kaldet probabilistisk alignment: En verdensmodel skal ikke blot generere én troværdig bane, men også ramme den korrekte fordeling af adfærd under samme startbetingelser og handlinger. Eksisterende evalueringer tester kun, om en enkelt video ser plausibel ud – ikke om gentagne generationer genskaber den rigtige sandsynlighedsfordeling.
Benchmarket introducerer PAWEval, en protokol der konverterer gentagne video-udrulninger til empiriske fordelinger over mulige fysiske adfærd. På tværs af 50 scenarier og elleve nuværende systemer matcher ingen model konsekvent reference-sandsynlighederne, mens de samtidig dækker hele spektret af gyldige udfald.
For beslutningstagere er implikationen klar: Hvis du overvejer at bruge video-genereringsmodeller til simulation, planlægning eller forudsigelse – fx i robotik, autonom kørsel eller spiludvikling – så kan du ikke stole på, at modellen fanger usikkerheden i den fysiske verden. Den kan producere én sandsynlig fremtid, men ikke kortlægge alle de måder, verden kan udvikle sig på.
Forskerne bag PAWBench undersøger også, om sprogprompter, støj-sampling eller træning kan ændre modellens prædiktive fordeling. Det er endnu uklart, om problemet kan løses med justeringer eller kræver en mere grundlæggende ændring i, hvordan modeller trænes og evalueres.
