Forskere har undersøgt, om avancerede diagnostiske værktøjer kan give dybere indsigt i, hvor robuste AI-modeller er over for såkaldte adversarial-angreb – manipulationer designet til at narre modellen. Resultatet er en advarsel til virksomheder og beslutningstagere, der overvejer at bruge disse værktøjer som eneste målestok for modelsikkerhed.
Projected Gradient Descent (PGD) er en standardmetode til at teste, hvor modstandsdygtige modeller er over for sådanne angreb. Traditionelt måles kun den endelige nøjagtighed efter angrebet, hvilket ikke fanger modellens adfærd undervejs. Nyere forskning har foreslået at se på hele angrebsforløbet – eksempelvis hvordan tab (loss) udvikler sig, hvordan gradienter justeres, og hvor mange skridt det tager før modellen fejler. Disse såkaldte trajektorie-diagnostikker skulle give dybere indsigt i modellens forsvar.
Men ifølge en ny undersøgelse på arXiv holder denne antagelse ikke nødvendigvis stik. Forskerne testede både normalt trænede og adversarially-trænede modeller (modeller der er trænet til at modstå angreb) på Fashion-MNIST-datasættet. De fandt, at selvom der er en klar forskel i robusthed mellem modellerne, så bidrager trajektorie-målingerne ikke lige meget til at identificere denne forskel.
Især viste gennemsnitlige tabsforløb og gradientjusteringer sig at være næsten identiske på tværs af modeller med markant forskellig robusthed. Derimod gav fordelingen af 'skridt-til-fejl' – altså hvor mange angrebsiterationer en model kan modstå, før den fejler – en klarere adskillelse mellem robusthedsniveauer. Dette mål afspejler direkte modellens funktionelle modstand mod angreb.
Forskerne konkluderer, at trajektorie-diagnostikker beskriver optimeringens geometri, men ikke uafhængigt måler adversarial robusthed. Deres fortolkning afhænger af robusthedsregimet, angrebsstyrken og en multi-målings-evaluering. De anbefaler, at trajektorie-analyse bruges som et komplementært værktøj, der fortolkes i kontekst – ikke som en erstatning for standard robusthedsmålinger.
For virksomheder, der investerer i AI-sikkerhed, betyder det, at man ikke skal lade sig forføre af avancerede diagnostikker, der lover dybere indsigt, men som i praksis kan give et misvisende billede. Standardiserede robusthedstests forbliver den pålidelige målestok, og nye værktøjer bør kun bruges som supplement.
