En ny benchmark, H2R-Bench, sætter for første gang systematisk fokus på et af robotlæringens største flaskehalse: at udnytte de enorme mængder af menneskelige videoer til at træne robotter. Resultaterne er klare – selv de førende videogenereringsmodeller fejler i opgaven.
Opgaven er ikke triviel. At samle robotdemonstrationer er dyrt og svært at skalere, mens menneskelige egocentriske videoer er rigelige. Men forskellen mellem menneskehænder og robotgribere gør overførsel kompleks. H2R-Bench evaluerer, hvor godt modeller kan transformere menneskelige demonstrationer til robotvideoer under givne betingelser – og scorer dem på fem dimensioner: målopfyldelse, handlingssekvenser, funktionel kontakt, kropslig korrekthed og generel videokvalitet.
Benchmarken testede 11 state-of-the-art videogenereringsmodeller på tværs af seks manipulationsfamilier og to robotkropsformer. Konklusionen er nedslående for dem, der håbede på hurtige fremskridt: selv de bedste modeller halter markant på kropslig konsistens, funktionel interaktion og opgaveudførelse. Med andre ord – de kan generere flotte videoer, men ikke videoer, der reelt kan bruges som træningsdata for robotter.
For beslutningstagere i robotik- og AI-branchen betyder det, at vejen til at udnytte menneskelige videoer som træningsressource er længere end antaget. H2R-Bench giver dog et vigtigt diagnostisk værktøj: en systematisk ramme til at måle, om videomodeller kan bygge bro mellem menneske og robot – og dermed et grundlag for at vurdere, hvilke modeller der er værd at satse på.
