En ny videnskabelig artikel fra arXiv viser, at avancerede AI-modeller – kaldet verdensmodeller – internt bærer på et skjult signal om, hvornår de er usikre på deres egne forudsigelser. Signalet er ikke synligt med traditionelle metoder, men kan aflæses direkte fra modellens interne tilstand, og det kan i praksis bruges til at afgøre, hvornår systemet bør stole på sin egen fantasi – og hvornår det skal tjekke virkeligheden.
Forskerne bag artiklen har arbejdet med arkitekturen RSSM, som ligger bag kendte systemer som DreamerV3. Denne type model holder en løbende intern tilstand, der normalt kun trænes til at reducere forudsigelsesfejl. Men holdet viser, at denne tilstand også – næsten usynligt – sporer sin egen forvirring. Signalet ligger næsten vinkelret på de retninger, hvor modellen normalt varierer mest, hvilket er grunden til, at standardmetoder overser det.
Det interessante er, at signalet er noget andet end de to kendte usikkerhedsindikatorer: ensemble-diskrepans, som opdager nye input, og rekonstruktionsfejl, som opdager dårlige forudsigelser lige nu. Her er der tale om en mere subtil, kumulativ form for usikkerhed – modellen kan mærke, at den har været på tynd is over tid.
Forskerne beviser signalets eksistens ved at holde forudsigelsesfejlen konstant, mens forvirringen varierer. En lineær probe på modellens interne tilstand finder signalet med en AUROC på 0,72 over fem kørsler, mens en ensemble-baseline scorer under tilfældigt niveau. De viser også, at en talt optælling af nylige højfejl-trin forklarer 80 procent af probens output (R² = 0,80).
Vigtigst: Signalet er ikke bare til stede – det er kausalt. Ved at redigere modellens interne tilstand direkte ændres adfærden, og forskerne tjekker endda med rigtige værdier fra andre baner i stedet for syntetiske ændringer. Det betyder, at signalet faktisk bruges af modellen, ikke bare er et statistisk kuriosum.
For en beslutningstager er den praktiske konsekvens klar: Systemer, der skal handle i den virkelige verden – fra robotter til autonome agenter – kan få en indbygget mekanisme til at vide, hvornår de skal stoppe op og tjekke virkeligheden i stedet for at stole på deres egen forestilling. Det er en forskel mellem en model, der bare gætter, og en model, der ved, at den gætter.
Forskerne understreger dog, at resultaterne ikke er universelle endnu. Den afgørende dissociationstest holder kun på én af tre kontrolopgaver, og den praktiske anvendelse – at beslutte, hvornår man skal tjekke virkeligheden – generaliserer kun til to af tre opgaver. Så potentialet er stort, men det er endnu ikke en moden teknologi.
