AI-agenter får stadig større autonomi, og den udbredte løsning – at holde et menneske i loopet – er ikke så enkel, som den lyder. En ny position paper på arXiv argumenterer for, at nuværende design af AI-agent-systemer aktivt modarbejder effektiv menneskelig kontrol, og at de kognitive evner, der kræves for tilsyn, faktisk forringes ved længere tids brug af AI.
For beslutningstagere, der overvejer at implementere AI-agenter i forretningskritiske processer, er dette en advarsel om, at teknologien ikke blot er et spørgsmål om at vælge den rigtige model. Artiklen peger på, at uden eksplicit støtte til de kognitive krav i menneske-agent-interaktion, vil AI-systemer passivt fremme nedbrydningen af de menneskelige færdigheder, de er afhængige af. Det betyder, at investeringer i AI-agenter bør ledsages af investeringer i design af arbejdsgange og organisatoriske protokoller, der understøtter tilsynspersonalets dømmekraft og modvirker færdighedsatrofi.
Artiklen foreslår konkrete designmæssige og organisatoriske tiltag, der kan støtte tilsynspersoner i at udøve kritisk dømmekraft og modvirke den færdighedsatrofi, der opstår ved langvarig brug af automatisering. For virksomheder, der bygger eller køber AI-agent-løsninger, er det afgørende at kræve, at leverandører adresserer disse menneskelige faktorer – ikke kun teknisk ydeevne. Ellers risikerer man at opbygge systemer, der underminerer den kontrol, de er designet til at have.
