Valget af tokenizer-ordforrådsstørrelse (vocabulary size) har længe været behandlet som en fast størrelse, der bestemmes ved træning — ofte ud fra konvention snarere end analyse. Men ny forskning fra arXiv viser, at den omkostningsoptimale størrelse ikke er en konstant, men en funktion af, hvordan modellen serveres. Dette har direkte konsekvenser for kapacitetsplanlægning, uanset om du bygger on-device-løsninger eller datacenter-infrastruktur.
Forskerne formaliserer de samlede livscyklusomkostninger som en sum af trænings- og inferensomkostninger, hvor inferensvolumen og batch-størrelse spiller en afgørende rolle. Gennem kontrollerede eksperimenter på to GPU-familier (A10G og A100) demonstrerer de, at den inferensoptimale ordforrådsstørrelse skifter 16x med batch-størrelsen: fra 32k ved batch=1 til 524k ved batch=64+. Dette skyldes amortisering af læsningen af unembedding-matricen.
For beslutningstagere er det vigtigste resultat, at kvaliteten (målt i bits per byte) er næsten invariant på tværs af det optimale område — med en spredning på under 2%. Det betyder, at valget af ordforrådsstørrelse i praksis er en ren systemoptimering uden kvalitetsstraf, hvilket gør det til et strategisk parameter for infrastrukturplanlægning.
Konkret anbefaler forskerne: On-device-implementeringer (batch=1) bør bruge omkring 32k, mens datacenter-servering (batch≥64, høj inferensvolumen) bør bruge 131k-262k. Dette er en markant afvigelse fra den træningsoptimale størrelse på 65k ved 1,3-2,3 mia. parametre, hvilket understreger, at valget bør tage højde for hele livscyklussen.
For virksomheder, der planlægger at skalere AI-tjenester, betyder dette, at en investering i en større ordforrådsstørrelse kan give betydelige besparelser i inferensomkostninger, hvis serveringsmønsteret er kendt. Det er et skridt væk fra one-size-fits-all-tilgangen og mod en mere nuanceret, driftsafhængig konfiguration.
