Agentiske RAG-systemer står over for et klassisk dilemma: Skal AI'en have adgang til alle værktøjsbeskrivelser eller kun et udvalg baseret på vektor-lighed? Begge tilgange koster — enten i token-forbrug og latens eller i manglende data. En ny arkitektur fra arXiv, kaldet SchemaRouter, tilbyder en tredje vej: en let routing-løsning, der repræsenterer værktøjer, endpoints, parametre og svarfelter som et schema-graf.

Løsningen bruger en lille LLM til at udtrække intention og koncepter fra forespørgslen, mens felt-selektion sker deterministisk via graf-projektion og koncept-felt-matching. På en materialscience-benchmark med 110 forespørgsler opnår SchemaRouter en svar-accuracy på 0,71 — samme niveau som fetch-everything og bedre end prompt-all (0,66), dog med overlappende konfidensintervaller.

Den interessante del for beslutningstagere er effektivitetsgevinsten: SchemaRouter bruger kun 227 retrieved-kontekst-tokens mod 2.066 for fetch-everything og opnår 2,7x lavere end-to-end-latens end prompt-all. Det betyder, at virksomheder kan køre agentiske systemer med markant lavere token-omkostninger og hurtigere responstider uden at ofre kvalitet.

Derudover adresserer SchemaRouter et voksende krav om sporbarhed: Det forankrer provenance- og licensinformation i 62% af svarene, mod cirka 0% for alle baseline-metoder. For organisationer med compliance-krav — eksempelvis inden for finans, sundhed eller offentlig sektor — er dette en konkret fordel, der kan gøre AI-systemer lettere at auditere.

En vigtig læring fra undersøgelsen: At minimere antallet af valgte felter er kontraproduktivt — det reducerer accuracy til 0,56 med ubetydelige token-besparelser. Recall-bevarende projektion er afgørende for at opretholde kvalitet. Det er en advarsel til dem, der optimerer på token-forbrug uden at tænke på informationsbevarelse.

For virksomheder, der bygger eller køber agentiske RAG-løsninger, peger SchemaRouter på en moden tilgang: kombinationen af lille LLM til intention-udtrækning og deterministisk graf-baseret routing kan levere skalerbar effektivitet uden at gå på kompromis med kvalitet eller sporbarhed.