En ny forskningsartikel introducerer StateSight, et benchmark designet til at isolere og måle sprogmodellers evne til at rekonstruere latent rumlig struktur fra et enkelt billede. Resultaterne er tankevækkende: Selv de nyeste og mest avancerede modeller, som OpenAI GPT-5.5 og Claude Sonnet 5, præsterer markant dårligere end mennesker på alle tre opgavetyper. Læs hele artiklen på arXiv.
StateSight adresserer et kritisk problem i eksisterende benchmarks: De blander ofte perception, tekstgenkendelse, domæneviden og sproglige forudsætninger sammen i samme evaluering, hvilket gør det svært at isolere, hvor fejl opstår. StateSight fokuserer derimod på tre specifikke opgaver: terning-net-modsat-side-ræsonnering, optælling af okkluderede terningetårne og tælling af 4-neighbor-forbundne komponenter. Hver opgavefamilie indeholder 300 enkeltbillede-prompter med deterministiske orakel-labels og eksakt-match-scoring.
Resultaterne viser en markant kløft: GPT-5.5 opnåede 59,3%, 33,3% og 28,3% nøjagtighed på de tre opgaver, mens Claude Sonnet 5 opnåede 53,3%, 18,7% og 7,3%. Til sammenligning præsterede en menneskelig baseline på 30 deltagere med 80,8%, 68,8% og 64,3% nøjagtighed – altså klart over begge modeller på alle opgaver. Selvom alle direkte kørsler havde nul formatfejl, viser den synlige afledningsanalyse, at modellerne gentagne gange fejler i billed-tilstand-rekonstruktion og ræsonneringsprocedurer.
For beslutningstagere, der overvejer at implementere visuel AI i applikationer som kvalitetskontrol, autonom navigation eller medicinsk billedanalyse, er dette en vigtig påmindelse: Format-valid output kan maskere fundamentale fejl i rumlig forståelse. StateSight-Steps, et ledsagedatasæt med 900 interleaved billede-tekst-eksempler og 3.600 deterministiske mellemliggende visuelle tilstande, giver mulighed for at træne og evaluere modeller mere målrettet.
