En ny forskningsartikel introducerer The Unwritten Benchmark, en udfordring designet til at teste multimodale AI-modellers evne til abstrakt perceptuel ræsonnement – altså at slutte sig til usynlig information ud fra dynamiske processer. I opgaven skal modellerne afkode ord, der skrives på tre forskellige skriftstile, udelukkende ud fra lyden af pennebevægelser og video af håndens bevægelser – uden at der er synligt blæk på papiret.
Resultaterne viser en markant kløft mellem mennesker og maskiner: Mennesker opnår over 80% nøjagtighed i at gætte bogstaver i korrekt rækkefølge, mens førende multimodale modeller som GPT-4o og Gemini 2.5-Pro ikke overstiger 10%. Forskerne identificerer desuden en paradoksal fusionseffekt: Når modellerne får både lyd og video, forringes deres præstation ofte i stedet for at forbedres. Dette indikerer en fundamental svaghed i modellernes evne til at kombinere komplementære perceptuelle signaler i kognitive opgaver.
For beslutningstagere er dette mere end en akademisk kuriositet. Det peger på, at selv avancerede multimodale systemer har begrænsninger i at forstå sammenhænge mellem sanseindtryk – en evne, der er afgørende for applikationer som robotstyring, overvågning og interaktive AI-assistenter, hvor kontekst og mikrokinematik spiller en rolle. Hvis modeller ikke kan ræsonnere om usynlige processer ud fra fysiske signaler, vil de have svært ved at håndtere komplekse, virkelige scenarier, hvor information er delvist skjult.
