Fysisk AI – robotter, der skal navigere og handle i den virkelige verden – har hidtil været svær at stole på, fordi vi ikke har kunnet verificere, om modellen faktisk forstår fysikken bag sansedata. Nu introducerer forskere en metode, der kan certificere, om en AI-model har ægte fysisk forståelse, eller blot genkender mønstre. Metoden, kaldet DBOSC, adskiller sig ved at teste modellen på data uden for dens træningsgrundlag og ved at udfordre dens evne til at udføre handlinger i rigtig rækkefølge.
Kernen i certificeringen er, at den ikke nøjes med at se på, om modellen kan matche billeder med lyd eller tekst. I stedet spørger den, om forskellige sensorer – for eksempel haptik (følesans) og lyd – bærer samme eksekverbare betydning. På en test med 19 overflader, som modellen aldrig havde set, var repræsentationerne af samme overflade 4,5 gange tættere i responsrummet end repræsentationer af forskellige overflader. Det viser, at modellen ikke bare husker, men generaliserer fysiske egenskaber på tværs af sanser.
Endnu vigtigere er det, at DBOSC tester, om modellen kan udføre handlinger i en bestemt rækkefølge – noget der er afgørende for robotter, der skal samle ting eller navigere. Her viste resultatet, at en model, der er trænet på delte trin, klarede sig 38 gange bedre end en model, der udsender hele programmer på én gang. Det understreger, at evnen til at eksekvere sekventielt er en egenskab ved eksekveren – ikke ved selve repræsentationen.
For virksomheder og beslutningstagere betyder det, at vi nu har et værktøj til at adskille, hvad en model faktisk kan, fra hvad den blot lader til at kunne. Det kan blive afgørende, når man skal vælge mellem forskellige AI-systemer til fysiske opgaver – for eksempel i produktion, logistik eller autonome køretøjer. I stedet for at stole på benchmarks, der måler genkendelse, kan man kræve et certifikat, der beviser eksekverbar forståelse.
