Forskere bag et nyt forslag på arXiv vil løse et grundlæggende problem i AI-forskning: manglen på standardiserede mål for, hvor svært et spilmiljø er at modellere. Transition Complexity Profile (TCP) introducerer et lille, reproducerbart sæt af målinger, der karakteriserer et miljøs 'transition kernel' – altså hvor uforudsigelige overgangene mellem tilstande er.
Problemet er velkendt: Forskere i game world modeling (GWM) og reinforcement learning (RL) sammenligner ofte resultater på tværs af benchmarks uden at vide, om forskellene skyldes algoritmernes kvalitet eller miljøernes iboende kompleksitet. TCP adresserer dette ved at måle tre ting: (i) intrinsisk forgrening i et enkelt trin, (ii) usikkerhed fra interaktion og modspillerens indflydelse, og (iii) temporal og spatial afhængighed via standardiserede probe-kurver.
Det vigtigste er, at TCP rapporteres med en eksplicit referencefordeling, protokol-stochasticitet og et versioneret målebudget – det betyder, at tal bliver sammenlignelige på tværs af benchmarks. Forskerne opfordrer til, at TCP bliver standard metadata i GWM- og RL-papers.
For beslutningstagere er dette ikke en teknisk detalje. Uden standardiserede mål er det svært at vurdere, hvilke AI-modeller der reelt er bedst til spilmiljøer – og dermed hvilke der er værd at investere i eller bygge videre på. TCP kan blive det fælles sprog, der gør det muligt at sammenligne modeller på tværs af domæner og dermed accelerere udviklingen af 'neural game engines'.
