En ny teknik fra forskere bag arXiv-papiret kan reducere ventetiden på svar fra store sprogmodeller med op til 24,1 % – uden at modellen skal trænes om eller ændres. Metoden, kaldet SSR (Self-Speculation for Reasoning Models), er målrettet de opgaver, hvor AI-modeller i dag bruger lang tid på at 'tænke højt' i flere trin, før de svarer. Det er netop sådanne opgaver, der er kritiske i interaktive produkter som voice-assistenter og kodningsagenter, hvor brugere oplever forsinkelser som direkte dårlig brugeroplevelse.
Kernen i SSR er en simpel observation: Når en model arbejder med et problem, ligner de senere dele af dens foreløbige 'tænke-spor' ofte det endelige svar. I stedet for at generere svaret ord-for-ord fra bunden, lader SSR modellen først producere et kort udkast (baseret på en del af tænke-processen) og bruger derefter det fulde tænke-spor som en slags kvalitetskontrol. Fordi udkastet og det endelige svar overlapper så meget, kan systemet acceptere lange bidder af udkastet på én gang – hvilket sparer tid på struktureret og langt genereret indhold. Metoden udnytter også en såkaldt 'suffix-cache' til at genbruge nyttige dele af svaret, der ligger ud over det, der normalt accepteres.
For beslutningstagere betyder det noget, fordi det adresserer en af de største flaskehalse i AI-produkter i dag: latenstid. I takt med at virksomheder bygger flere interaktive løsninger – fra kundeservice-chatbots til AI-assisteret kodning – bliver svartiden en konkurrenceparameter. SSR er træningsfri, hvilket betyder, at den kan implementeres på eksisterende modeller som Qwen3.5 og Gemma-4 uden at skulle investere i dyr genoptræning. Det gør den attraktiv for teams, der allerede har investeret i en model og ønsker at forbedre brugeroplevelsen uden at starte forfra.
Metoden er dog ikke en universalløsning. Den giver størst gevinst på opgaver med struktureret og langt genereret indhold, hvor overlapningen mellem udkast og endeligt svar er høj. For korte, simple svar er gevinsten mindre. Alligevel peger resultaterne på en tendens: Optimering af AI-handling handler ikke kun om at gøre modellerne smartere, men også om at gøre dem hurtigere i praksis – og det kan ofte gøres med smarte software-tricks frem for nye, store investeringer.
