Når AI-systemer komprimerer lang kontekst for at fortsætte en opgave, forsvinder en klasse af brugerinstruktioner kaldet Session Constraints (SC'er) — såsom "slet ikke nogen e-mails, før jeg bekræfter" — i gennemsnit 83 % af tiden. Det viser et nyt forskningspapir fra arXiv, der introducerer evalueringssuiten COMPINT.
Forskerne testede eksisterende kompakteringsmetoder på tværs af tre langtidsscenarier: multi-turn chat, agentisk arbejdsgang og langtidshorisont-forskning. Resultatet er nedslående: I gennemsnit bevarer nuværende kompakterer kun 17 % af de injicerede SC'er, og de fleste klarer sig værre end at køre samme opgave uden kompaktering overhovedet. Tabet er systematisk og varierer med kompakteringsmetode, prompt, kontekstlængde, SC-formulering og injektionssted — ikke bundet til én enkelt indstilling.
For beslutningstagere er implikationen klar: Hvis du bygger eller køber AI-systemer, der håndterer lange samtaler eller agentiske arbejdsgange, kan kritiske sikkerheds- eller compliance-instruktioner stille og roligt forsvinde, når systemet komprimerer konteksten. Det er ikke kun et teknisk problem — det er en risiko for fejl, tab af data eller uautoriseret handling, som kan få juridiske og forretningsmæssige konsekvenser.
Løsningen, som forskerne foreslår, er en SC-bevidst ekstraktor, der kører parallelt med kompakteren som et plug-and-play-modul. Den opnår over 90 % bevarelse på tværs af alle tre scenarier uden at ændre kompakteren eller selve LLM'en. Det betyder, at organisationer kan implementere en rettelse uden at udskifte deres eksisterende infrastruktur — et vigtigt punkt for dem, der allerede har investeret i bestemte modeller eller kompakteringsværktøjer.
Koden og evalueringssuiten er offentligt tilgængelige på GitHub, så teams kan teste deres egne systemer og vurdere, om de er ramt.
