En ny evalueringsramme, C4, introduceret på arXiv, sætter fokus på en overset, men kritisk egenskab ved multimodale sprogmodeller (MLLM'er): evnen til at forstå kreativt konstruerede koncepter – ikke bare genkende fakta. C4 er designet til at teste, hvor godt modeller kan afkode betydningen i kinesiske idiomer (chengyu), som bygger på tværkonceptuelle relationer, hvor et ord eller billede står for noget andet end dets bogstavelige betydning.
Resultaterne er tankevækkende for alle, der overvejer at bruge AI i kreative eller kommunikative sammenhænge. Selv de stærkeste lukkede modeller opnår kun 50,7% og 48,0% korrekt svar på de primære opgaver, mens open-source-modeller ligger markant lavere. Det betyder, at selv avancerede systemer har svært ved at forstå meningen bag kreative udtryk – en kernekompetence i design, kommunikation og undervisning.
Det interessante er, at modellerne forbedres markant, når de får begrænsninger på svarmulighederne, men kun marginalt, når de får hints eller bliver bedt om at forklare deres ræsonnement. Det tyder på, at problemet ikke er manglende viden, men en grundlæggende udfordring med at forbinde koncepter på tværs af domæner – en kognitiv evne, som mennesker bruger hele tiden i sprog og billeder.
For beslutningstagere er implikationen klar: Hvis du planlægger at implementere AI i kreative processer, marketing, eller brugeroplevelsesdesign, skal du være opmærksom på, at modellerne stadig er langt fra menneskelig kreativ forståelse. C4 giver en konkret måde at måle denne evne på, hvilket er værdifuldt, når man skal vælge mellem modeller eller vurdere, hvor meget menneskelig overvågning der er nødvendig.
