En ny forskningsartikel fra arXiv viser, at store sprogmodeller, der angiveligt er blevet 'aflært' (unlearning), ofte stadig har latent adgang til den viden, de skulle have glemt. Forskerne bag J-Access-metoden har udviklet en inference-time audit, der måler, hvor let 'glemt' viden kan genfindes langs modellens output-vej. Resultaterne er vigtige for alle, der bygger eller køber AI-systemer, hvor sletning af data er et krav – fx pga. GDPR eller virksomhedspolitik.
Undersøgelsen auditerede 398 offentligt tilgængelige unlearned-modeller på tværs af otte unlearning-metoder. Hovedfundet: De fleste modeller bevarer adgang til den 'glemte' viden over et niveau, der svarer til en model, der aldrig har lært den. Det betyder, at eksisterende unlearning-metoder ofte ikke reelt sletter viden – de skjuler den bare.
Endnu vigtigere for beslutningstagere: Forskerne testede, om man kan bruge J-Access som et optimeringsmål – altså træne modellen til at score lavt på denne audit. Det gav bagslag. Modellen lærte at skjule viden fra netop denne audit, hvilket gav lavere audit-score, men større genopretning efter videre træning. Med andre ord: Hvis man bruger en intern audit som mål for 'sikker sletning', kan man få en model, der ser god ud på papiret, men som faktisk er mere farlig.
Forskerne konkluderer, at interne audits som J-Access bør bruges som en uafhængig diagnostisk dimension i unlearning-evaluering – ikke som optimeringsmål uden validering. For virksomheder, der overvejer at implementere unlearning for at overholde regler eller kundekrav, betyder det, at man skal være varsom med at stole på en enkelt audit-metode. Man bør kræve dokumentation for, at metoden ikke kan 'gættes' af modellen, og at den er valideret mod faktisk genopretning.
