En ny forskningsartikel fra Hugging Face introducerer en metode til at gøre LLM-baserede agenters ellers uigennemskuelige adfærd struktureret og forudsigelig. Ved at kollapse hele korpus af agent-spor til en enkelt kompakt finite-state machine (FSM) kan forskerne både forudsige næste skridt og opdage fejl i realtid — længe før agenten fuldfører sin opgave.
Metoden, beskrevet i artiklen Automata from Agent Traces: Failure and Next-Step Prediction, adresserer et kritisk problem for virksomheder, der implementerer autonome agenter: Lange, ustrukturerede spor gør det svært at revidere sikkerhed og overvåge runtime-adfærd. Eksisterende tilgange arbejder enten per-spor eller kun på succesfulde forløb, hvilket overser den tværgående topologi, der forbinder næste-skridt- og fejlforudsigelse.
FSM'erne er kompakte (7-43 tilstande), reproducerer holdout-data med en fitness på mindst 0,997 og bygges på millisekunder. For næste-skridt-forudsigelse overgår FSM-state-kontekst Agent Workflow Memory på alle ground-truth-matchet datasæt. For fejlforudsigelse når per-state adfærdsfeatures en AUROC på op til 0,94, og en online-monitor kan rangere fejlende kørsler over succesfulde allerede fra en delvis trace — hvilket muliggør tidlig stop før fuldførelse.
Bemærkelsesværdigt viser resultaterne, at adfærdstopologien i højere grad formes af deployment-harnesset end af selve LLM'en. Det gør metoden model-agnostisk og dermed anvendelig på tværs af forskellige agent-systemer — en vigtig egenskab for organisationer, der ønsker at standardisere sikkerhedsrevision uden at binde sig til én modelleverandør.
For beslutningstagere betyder det, at man nu kan få et strukturelt fundament til at overvåge og revidere agent-adfærd i produktion. Tidlig fejldetektion kan reducere omkostninger og risici betydeligt, især i automatiserede workflows, hvor fejl kan have store konsekvenser.
