Multimodale AI-modeller kan fortolke et gadehjørne, men når de skal navigere i en hel by, bryder deres evner sammen. Det viser en ny undersøgelse fra forskere bag UrbanGround, en sandkasse bygget som en fysisk tro kopi af Hong Kong baseret på 3D-geodata. Her kan AI-agenter bevæge sig rundt i byen fra første persons synsvinkel og interagere med omgivelserne i lukkede sløjfer.
Forskerne testede, hvor langt nutidens multimodale sprogmodeller kan nå, når de skal omsætte lokal perception til pålidelig handling. Resultatet er klart: Agenterne klarer sig godt i atomare opgaver som visuel genkendelse og kortrækkende rumlig ræsonnering, men svigter, når opgaverne bliver mere komplekse. Orientering og bevægelse med hensyn til fodgængere forbliver upålidelig, og den centrale fejl opstår under længerevarende udforskning, hvor lokale evner ikke samles til vedvarende, målorienteret adfærd, og fejl akkumuleres uden effektiv korrektion.
For beslutningstagere, der overvejer AI til autonome systemer i bymiljøer — fra leveringsrobotter til overvågning eller byplanlægning — er dette en vigtig advarsel. Selvom modellerne kan "se", kan de ikke pålideligt navigere i komplekse, åbne miljøer. Det betyder, at implementering af sådanne systemer i virkelige byer kræver mere end blot at forbedre perception; der skal udvikles mekanismer til fejlkorrektion og vedvarende målfølging. UrbanGround giver nu en platform til at teste og forstå disse grænser systematisk, hvilket kan guide investeringer i forskning og udvikling mod de svage punkter.
