Når virksomheder vælger AI-agenter til komplekse opgaver, har de hidtil kun kunnet vurdere dem på ét parameter: om de løser opgaven. Men en ny forskningsartikel fra arXiv introducerer en metode, der måler noget helt andet – nemlig hvor konsekvent agenten opfører sig på tværs af forskellige opgaver. Det kan få betydning for, hvordan man vælger og stoler på AI-systemer i produktion.
Forskerne bag Behavioral Consistency Metric (BCM) argumenterer for, at agent-evaluering i dag næsten udelukkende bygger på resultatmål som succesrate, der kun fortæller om agenten lykkes, men ikke hvordan den opfører sig. BCM træner en model til at forudsige opgavesucces ud fra adfærdsmæssige træk i agentens eksekveringsspor, og måler derefter ligheden mellem disse adfærdsmønstre på tværs af opgaver.
Analysen bygger på omkring 9.000 spor fra seks sprogmodel-agenter, der arbejder med softwareudviklingsopgaver. Det centrale fund er, at konsistens på tværs af opgaver og konsistens inden for samme opgave er to adskilte akser, der kan divergere. Nogle systemer er lokalt reproducerbare – de opfører sig ens, når de gentager samme opgave – men globalt fragmenterede, uden en stabil strategi på tværs af forskellige opgaver. Andre er konsistente på begge niveauer.
Det betyder, at tidligere målinger, der kun ser på samme-opgave-reproducerbarhed, ikke kan fange denne adskillelse. Forskerne viser også, at konsistens ikke kan reduceres til succesrate: Systemer med sammenlignelig succes kan variere markant i konsistens. Desuden holder kløften mellem frontløber-modeller og open source-modeller, selv når man kontrollerer for opgavesværhedsgrad.
For beslutningstagere, der skal bygge eller købe AI-agent-løsninger, er dette et vigtigt signal. En agent, der løser opgaver godt men uforudsigeligt, kan være en risiko i produktionsmiljøer, hvor stabilitet og forudsigelighed er afgørende. BCM tilbyder et procesniveau-signal, der komplementerer resultatmål – og giver dermed et mere nuanceret grundlag for at vælge mellem systemer.
