En ny videnskabelig undersøgelse fra Hugging Face sætter tal på, hvornår det kan betale sig at lade GPU'en træffe beslutninger i LLM-agent-systemer – og hvornår det er spild af tid. Resultaterne er relevante for alle, der bygger, køber eller investerer i agentinfrastruktur, hvor latenstid og ressourceudnyttelse er afgørende for både brugeroplevelse og driftsomkostninger.
Forskerne bag studiet formaliserer begrebet "ready cohorts" – altså hvor mange samtidige opgaver der er klar til at blive eksekveret på GPU'en på et givet tidspunkt. De viser, at ved 100.000 aktive sessioner, K=256 og en 50 ms deadline, kan en specialiseret dynamisk programmering opnå en eksakt planlægning, der indfanger 81,83 % af den tabte mulighed, der opstår ved faste vinduesgrænser.
Endnu vigtigere for beslutningstagere: Undersøgelsen sammenligner to måder at håndtere en GPU-beregnet beslutning på – enten ved at sende resultatet tilbage til værtsmaskinen (host) og videresende, eller ved at lade beslutningen blive på GPU'en. I alle 36 testede konfigurationer på tværs af fire GPU-typer var den enheds-residente sti hurtigere, med forbedringer fra 1,19x til 2,39x. Det betyder, at man kan opnå markant lavere latenstid ved at undgå unødvendige ture mellem GPU og vært.
Men der er en vigtig advarsel: En fast indlejret GPU-graf, der ikke fjerner nogen vært-beslutning, var langsommere i alle 60 konfigurationer på tværs af fem GPU-typer. Så det er ikke nok bare at flytte alt til GPU'en – man skal designe systemet, så GPU'en faktisk træffer beslutninger, der ellers ville kræve værtens involvering.
For virksomheder, der bygger agent-systemer, peger forskningen på to konkrete gates: 1) om der er nok samtidige opgaver til at retfærdiggøre GPU-eksekvering, og 2) hvorvidt observationsplaceringen (altså hvor data og beslutninger befinder sig) er optimeret. Det er ikke trivielt – det kræver måling af online runtime, CPU-forskydning og service-niveau for at få det fulde billede.
