Forskere har præsenteret StreamPI, et framework der giver vision-language-action (VLA) modeller evnen til at forstå tid og sekvenser — uden at tilføje en eneste ekstra parameter. Det skriver de i et paper på Hugging Face.
VLA-modeller som pi0.5 arbejder i dag med enkelt-frame inferens: de ser ét øjebliksbillede ad gangen og kan derfor ikke holde styr på tidligere observationer. Det begrænser deres evne til præcis rumlig perception og opgaver der kræver hukommelse. StreamPI løser det ved at behandle hvert (visuel observation, sproginstruktion) par som en atomisk tidsenhed. Inden for hvert par bruges bidirektional attention til at fusionere information på tværs af modaliteter, mens kausal attention på tværs af par bevarer autoregressiv streaming inferens. Det betyder at sproginstruktionen fungerer som et vedvarende semantisk anker gennem hele opgaveudførelsen.
En central udfordring er forskellen mellem synkron træning og asynkron robotdrift i den virkelige verden. For at bygge bro over dette introducerer forskerne en random-interval streaming-træningsstrategi: et passende interval mellem frames (fx hver tredje frame) giver hurtigere og mere jævn aktion, og randomisering af intervallet gør modellen mere robust over for variationer i frame-timing.
Fordi StreamPI udnytter LLM-backbonens evne til længde-ekstrapolation, kan den overtage prætrænede single-frame vægte og understøtte både single-frame og multi-frame inferens. I eksperimenter på rigtige robotter — både hukommelsesafhængige og præcisionskrævende opgaver — samt i simulationsbenchmarken LIBERO overgår StreamPI pi0.5 på tværs af opgaver.
For virksomheder der bygger eller køber robotløsninger betyder det, at eksisterende VLA-modeller kan opgraderes til at håndtere sekventielle opgaver uden at skulle udskifte hardware eller øge modelstørrelsen. Det kan sænke barrieren for adoption af avancerede robotter i produktion og logistik, hvor præcis perception og hukommelse er afgørende.
