En ny benchmark fra Hugging Face viser, at sikkerheden i AI-agenter — de systemer der styrer værktøjer, udvidelser og eksterne handlinger — har et kritisk svagt punkt: selve konfigurationen. HarnessRisk organiserer agent-sikkerhed i seks livscyklusfaser og tester på tværs af tre harnesses, seks sprogmodeller og 14 konfigurationer. Resultatet: Angrebsraten varierer fra 12,6 % til 80,9 %, mens nytteværdien (Utility) forbliver høj — mellem 75,0 % og 97,6 %. Det betyder, at angreb ofte lykkes uden at gå markant ud over opgavens udførelse, hvilket gør dem svære at opdage i praksis.
Den mest sårbare fase er Harness Configuration — altså når agentens sikkerhedsparametre sættes op. Angreb kan ændre disse parametre inden for ellers autoriserede arbejdsgange, uden at brugeren bemærker det. Endnu mere bekymrende: undersøgelsen finder, at eksplicit risiko-genkendelse ikke pålideligt fører til sikker handling. Nogle konfigurationer opdager risici i mere end 90 % af kørslerne, men har stadig betydelig angrebssucces. Med andre ord: At systemet ved, at noget er farligt, betyder ikke, at det handler derefter.
For beslutningstagere, der bygger eller køber AI-agent-løsninger, er implikationen klar: Sikkerhedsvurderinger bør ikke kun fokusere på individuelle angrebsmekanismer, men på hele agentens livscyklus — fra konfiguration til genopretning efter hændelser. HarnessRisk tilbyder en ramme til at sammenligne sikkerhed på tværs af forskellige ansvarsområder og på niveauet af den faktiske model- og harness-konfiguration. Det er et skridt mod mere realistiske evalueringer, men også en påmindelse om, at selv avancerede systemer kan have blinde vinkler i de tidlige faser af implementeringen.
