En ny videnskabelig artikel foreslår en væsentlig ændring i, hvordan virksomheder bør designe systemer, der kombinerer store sprogmodeller med eksterne dokumenter (såkaldt Retrieval-Augmented Generation, RAG). Problemet er velkendt: Selvom en model kan opdage, at et dokument indeholder fejlinformation, kan den stadig blive påvirket af det i sine endelige svar. Tidligere forsøg på at løse dette, kendt som Cordon-princippet, har isoleret modellen fra rå dokumenter – men det koster betydelig beregningskraft.
Forskerne bag den nye undersøgelse foreslår i stedet et mere nuanceret princip: Kun agenter, der er i stand til bevidst, langsom tænkning (System 2-ræsonnement), bør have direkte adgang til upålidelige dokumenter. De introducerer nye målemetoder, der kvantificerer afstanden mellem at opdage misinformation og reelt at blive påvirket af den, og sammenligner derefter state-of-the-art ræsonnerende sprogmodeller med standardmodeller.
Resultaterne er klare: De ræsonnerende modeller er markant mere robuste over for korrupte dokumenter – og de opnår denne beskyttelse uden at kræve den strenge isolation, som Cordon-princippet pålægger. Det giver empirisk støtte til det nye princip og peger mod en mere praktisk og omkostningseffektiv tilgang til sikker RAG-arkitektur.
For beslutningstagere betyder det noget konkret: Hvis man bygger eller køber RAG-systemer, hvor dokumenter kan komme fra upålidelige kilder – fx bruger-genereret indhold, åbne webkilder eller tredjepartsdata – så kan valget af modeltype være en sikkerhedsmæssig parameter i sig selv. Man kan opnå højere modstandsdygtighed mod såkaldt knowledge-poisoning uden at skulle investere i tung, isolerende infrastruktur. Det ændrer både cost-benefit-regnestykket og risikoanalysen for systemer, der skal håndtere ufiltreret information.
