Agentiske AI-modeller, der bruger Model Context Protocol (MCP), genberegner hver tur de verbose værktøjsskemaer, hvilket gør prefill – der vokser kvadratisk med sekvenslængden – til den dominerende faktor for time-to-first-token (TTFT), når værktøjsregistret vokser. Det skriver forskerne bag Nexus-papiret.

Nexus' primære greb er at adskille routing fra schema-prefill-omkostningen: et INT8 semantisk lookaside-buffer (SLB) med en kalibreret cross-encoder-margin-gate vælger værktøjer via retrieval, og argumenter genereres over en komprimeret tekstsignatur (median 19 tokens) i stedet for over spliced key/value (KV) cache. Denne sti er dybde-uafhængig: routing-nøjagtigheden forbliver tæt på 89%, når registret skaleres til 250 værktøjer – hvor en baseline, der konkatenere alle skemaer, overskrider kontekstvinduet helt – og den når et første-argument-token 1,66x hurtigere end fuld schema-re-prefill med en ~80% besparelse på main-context-tokens.

Som et sekundært, afgrænset greb transplanterer forskerne et kompileret schema-KV-blok direkte ind i den levende kontekst. Dette er fundamentalt begrænset af rotary position embedding (RoPE) fase-drift: et forankret splice er output-eksakt, men off-anchor-placering korrumperer attention, så ud over en tærskel P=256 reparerer Nexus sømmen med en dybde-adaptiv suffix-redecode, der eskalerer til fuld re-prefill. Den resulterende never-regress-egenskab er en garanti på output-fidelitet (top-1-overensstemmelse, D_KL ≈ 0) – ikke på latenstid, som kan dykke til 0,98x før den konvergerer til paritet – sammen med en 1,1-1,7x TTFT-speedup ved moderat dybde, der indsnævres til paritet ved dyb kontekst.

To negative resultater afgrænser designet: off-anchor RoPE-fidelitetsgrænsen og fiaskoen for en reference-fri drift-gate til at forudsige drift (Spearman rho = 0,193). Alle målinger stammer fra én model-tuple (Qwen2.5-14B-Instruct Q4_K_M) på Apple-silicon unified memory; de kvalitative grænser generaliserer, mens det kvantitative interval er tuple-specifikt.

For beslutningstagere betyder det, at agentiske AI-systemer kan håndtere langt større værktøjsbiblioteker uden at sprænge kontekstvinduet eller ofre svartid. Virksomheder, der bygger MCP-baserede agenter, kan overveje at adoptere retrieval-baseret routing og signatur-komprimering for at reducere token-omkostninger og forbedre responsivitet – men bør være opmærksomme på, at de kvantitative gevinster er målt på én specifik model og hardware.