Et nyt preprint på arXiv udfordrer en grundlæggende antagelse i designet af AI-agenter: at forbedre rækkefølgen af information i værktøjssvar gør agenten bedre. Studiet, Agents Don't Paginate: First-Chunk Selection for LLM Tool Responses, finder, at selv når den relevante information placeres øverst i svaret, forbedres agentens evne til at løse opgaven ikke signifikant.
Forskerne observerede, at ingen agenter i et offentligt Model Context Protocol middleware-log bad om en anden side af et svar – de læser kun den første del. De testede seks forskellige værdifunktioner til at udvælge første-chunk på 500 SWE-bench Verified-opgaver og målte downstream-nøjagtighed på fem sprogmodeller med 4.800 LLM-kald.
Det centrale, negative fund: at hæve præcisionen ved første position (p₁) fra 24,2% til 35,0% (+10,8 procentpoint) forbedrede ikke downstream-nøjagtigheden. Forskellen var under tre procentpoint og ikke statistisk signifikant på nogen model. Agenten finder åbenbart den nødvendige information uanset hvor i chunken den står – det vigtige er, at den er inkluderet, ikke dens rang.
Et andet fund: at tilføje fire fil-metadata-signaler til en keyword-scorer forværrede faktisk p₁ med 4,8 procentpoint (p = 0,001). En simpel, parameterfri keyword-scorer klarede sig bedre, men uden effekt på det endelige resultat.
For beslutningstagere, der bygger eller køber agent-løsninger, betyder det, at optimering af prompt-rækkefølge eller værktøjsrespons-format kan være spildte kræfter. Investeringer bør i stedet rettes mod at sikre, at al relevant information er tilgængelig i første chunk – ikke mod at rangere den.
