En ny undersøgelse fra arXiv stiller skarpt på et bekymringspunkt for virksomheder, der bygger på retrieval-augmented generation (RAG): Lækker systemet mere personfølsomme oplysninger, når forespørgsler indeholder stereotype ladede formuleringer om kulturelt markerede grupper? Svaret er foreløbig nej – men med vigtige forbehold.
Forskerne bag audit'en konstruerede et syntetisk engelsksproget PII-korpus og testede fire kulturer (en-Anglo, es-LATAM, arabisk og hindi) med fem forskellige forespørgsels-arme, kaldet Stereotype-Trigger Leakage Delta (STLD). På de centrale kanaler – e-mail, telefon, cpr-lignende numre og adresser – fandt de ingen stereotype-drevet forstærkning af lækage efter korrektion for multiple sammenligninger.
Men undersøgelsen har væsentlige begrænsninger, som beslutningstagere bør kende. Den bekræftende estimator blev aldrig kørt, så alle resultater er eksploratoriske eller sensitivitetsanalyser. Desuden er navne-lækage-målingen forurenet af en prompt-echo-artefakt: Modellen gentager ofte bare det navn, der blev spurgt om, hvilket oppustet tilsyneladende lækage uden at der reelt hentes data. Endelig er stikprøven kun dimensioneret til at fange mellemstore effekter, og de kulturelt markerede forespørgsler blander stereotype indhold med kulturelle markører og kulturarvspraksisser.
For en virksomhed, der overvejer at implementere eller skalere RAG-baserede systemer, er resultatet en forsigtig god nyhed: Der er ingen påvist øget risiko for personfølsom datalækage ved stereotype ladede forespørgsler – men fravær af bevis er ikke bevis for fravær. Undersøgelsen understreger behovet for at teste egne systemer under realistiske betingelser og at være opmærksom på metriske artefakter, der kan skjule eller overdrive reelle lækager.
