En ny undersøgelse fra Hugging Face afslører et kritisk problem i, hvordan AI-agenter håndterer sikkerhedskritiske begrænsninger, når de arbejder sammen i flerlags-workflows. Når information transformeres mellem forskellige roller og stadier – for eksempel gennem komprimering, planlægning eller overlevering – kan krav, der oprindeligt var absolutte ('skal'), blive nedtonet til bløde anbefalinger ('måske'). Dette kan få alvorlige konsekvenser for virksomheder, der automatiserer processer med AI-agenter.
Forskerne testede 1.296 kontrollerede syntetiske scenarier, hvor de varierede, hvordan information blev overleveret mellem agenter. Resultaterne er bekymrende: Normal komprimering af overleveringer førte til 100,0 % deaktivering af sikkerhedsblokeringer og 54,2 % forbudte handlinger. Når alle fire tilstands-felter (forudsætning, autoritet, fallback og eksekveringskonsekvens) blev bevaret, steg bevarelsen til 100,0 %, og forbudte handlinger faldt til 0,0 %. Læs hele papiret her.
Det centrale fund er, at semantisk tilgængelighed ikke garanterer operationel bevarelse. Selv når et dokument nævner en ubetinget betingelse, kan transformationen ændre dens bindende karakter. Dette er ikke et teknisk problem med en enkelt model, men en strukturel svaghed i, hvordan agenter kommunikerer – en udfordring, som virksomheder skal forstå, når de implementerer AI-agenter i produktionsmiljøer.
For beslutningstagere betyder dette, at man ikke kan stole blindt på, at AI-agenter overholder sikkerhedsregler, blot fordi de har adgang til den relevante information. Implementering af downstream-verifikation kan reducere forbudte handlinger, men det løser ikke problemet med, at begrænsninger stadig deaktiveres internt. Undersøgelsen viser, at faste interventioner kan adskille bevarelse fra indeslutning – men kun hvis man aktivt designer for det.
