En ny benchmark, TRACE-Bench, udfordrer den gængse opfattelse af, hvor avancerede AI-billedgenereringsmodeller reelt er, når de skal kombinere flere referencer i ét billede. I stedet for at gruppere opgaver i foruddefinerede kategorier som "subject composition", formaliserer forskerne bag et sæt af fire grundlæggende operationer — Anchor, Disentangle, Apply og Compose — som enhver multi-reference-prompt kan nedbrydes til. Denne tilgang gør det muligt at diagnosticere præcist, hvilke kapaciteter modellerne fejler på, frem for blot at give en samlet score.
Resultaterne er tankevækkende for alle, der overvejer at bruge sådanne modeller i produktion. Evalueringen af ni førende modeller viser, at den primære flaskehals ligger i disentanglement (adskillelse af attributter) og attribute binding (binding af attributter til objekter) — ikke i selve scenekompositionen. Selv den bedste model opnår kun 0,74 i attributfidelitet. Det betyder i praksis, at selv avancerede systemer har svært ved at håndtere opgaver, hvor flere objekter skal have hver deres specifikke egenskaber, hvilket er centralt for eksempelvis produktvisualisering, reklame eller kreativt indhold.
For beslutningstagere er implikationen klar: Hvis jeres use case kræver præcis kontrol over attributter i billeder med flere referencer, er de nuværende modeller ikke pålidelige nok. Benchmarket giver dog også et værktøj — projektsiden indeholder den fulde dekomponering og diagnose-træer — så teams kan identificere, præcis hvilke kapaciteter en given model mangler, før de investerer i integration.
