Agentisk sikkerhed – brugen af LLM-agenter til at planlægge, udføre og fortolke sikkerhedsværktøjer – er på vej fra demo til produkt. Men i praksis møder virksomheder de samme operationelle fejl igen og igen. Et nyt studie på arXiv systematiserer disse fejl gennem en praktisk evaluering af ti udbredte værktøjer til statisk, dynamisk, cloud- og AI-red-teaming i uovervågede pipelines.
Forskerne introducerer et fire-dimensionelt "Integration Friction Index", der adskiller den engangsomkostning, der ligger i at bygge integrationen, fra de løbende organisatoriske, juridiske og vedligeholdelsesmæssige omkostninger. Pointen er, at den reelle pris for agentisk sikkerhed ikke er selve opsætningen, men de gentagne omkostninger, der følger med i drift.
Studiet viser desuden, at langvarige sessioner mister beviser ("resident evidence") efterhånden som antallet af faser stiger, mens kortlivede underagenter forlænger den brugbare horisont afhængigt af kompressionsforholdet mellem rå beviser og deres opsummering. En to-trins "verdict cascade" kan gange scorerens likelihood-ratio, men giver kun lidt værdi, hvis scorerens fejl er korrelerede. Og hvis man behandler uevaluerbare resultater som angrebsfejl, skævvrides downstream-målingerne mod evasive og alvorlige svar.
En central pointe for beslutningstagere: scope- og budgetstyring kan ikke delegeres til systemprompts. Prompts begrænser ikke, hvad der faktisk eksekveres. Det betyder, at virksomheder, der implementerer agentisk sikkerhed, skal have kontrolmekanismer på eksekveringsniveau – ikke kun i instruktionerne til agenten.
Studiet introducerer også en model for planner-versus-worker routing som et knapsack-problem og udleder en lukket formel for eksekveringsloft for tunghalede værktøjer: eta* = alpha v/c. For praktikere betyder det, at der findes et teoretisk optimalt punkt for, hvornår en agent skal overtage fra en anden – men kun hvis man kan måle alpha, v og c.
Platformen Inspectra, som forskerne har implementeret, fungerer som en konkret instansiering af principperne, med mekanismer markeret som "shipped", "partial" eller "planned" – inklusive dem, der ikke virkede.
