Et nyt forskningsprojekt fra Hugging Face viser, at robotter kan udføre opgaver, de aldrig har set under træning, ved blot at få vist en video af et menneske, der udfører opgaven. Modellen, kaldet Zero-WAM, bygger på samme princip som in-context learning i store sprogmodeller: i stedet for at opdatere parametre, specificeres opgaven i konteksten – her som en menneskevideo, der giver rige visuelle signaler om opgavens forløb.
Forskerne bag Zero-WAM har udviklet en automatisk pipeline, der konverterer robotbaner til semantisk matchede menneskevideoer, hvilket resulterede i datasættet HumanGen med 74.2K menneske-robot-par på tværs af 8.6K opgaver. For at forhindre modellen i at lære genveje fra sete opgaver introducerer de en ny træningsmetode, in-context future chunk prediction (IFP), der tvinger politikken til at hente opgaveinformation fra videoprompten.
I simulationer på syv usete opgaver i RoboTwin 2.0 opnår Zero-WAM en gennemsnitlig succesrate på 47.0%, en absolut forbedring på 29.5 procentpoint over den stærkeste video-action-baseline. I virkelige tests følger modellen menneskevideoer for at generalisere til usete opgavekonfigurationer, herunder multi-objekt-scener, langtidshorisont-manipulation og fininsertion.
For beslutningstagere i automation og robotik betyder dette, at fremtidige robotter kan omstilles til nye opgaver uden omfattende genoptræning – blot ved at vise dem en video. Det kan reducere omkostningerne og tiden ved at implementere robotter i fleksible produktionsmiljøer, hvor opgaver ændrer sig hyppigt. Selvom resultaterne er i tidlig forskningsfase, peger de på en vej mod mere alsidige og adaptive robotsystemer.
