Anthropic-forskere har sat AI-agenter løs på samme opgave og observeret, at de kan komme i konflikt, samarbejde og koordinere på uventede måder. Det rejser nye spørgsmål om, hvorvidt dagens sikkerhedstests reelt fanger risiciene ved multi-agent-systemer, skriver TechCrunch.
For beslutningstagere, der overvejer at implementere agent-baserede løsninger i større skala, er dette en vigtig påmindelse: Når flere autonome systemer arbejder sammen – eller mod hinanden – kan adfærden blive kompleks og uforudsigelig. Eksisterende sikkerhedsevalueringer, der typisk tester agenter isoleret, kan derfor være utilstrækkelige.
Forskningen understreger behovet for at udvikle nye testmetoder, der simulerer multi-agent-interaktioner, før sådanne systemer rulles ud i produktionsmiljøer. Det er ikke kun et teknisk problem, men også et spørgsmål om risikostyring og ansvar, når agenter begynder at træffe beslutninger autonomt.
