Store sprogmodeller er ekstremt følsomme over for selv små ændringer i formuleringen af en prompt. Det viser en ny systematisk analyse fra arXiv, der har undersøgt 132.000 varianter af prompts for at forstå, hvorfor nogle formuleringer giver stabile resultater, mens andre skaber store udsving i kvaliteten.
Forskerne bag studiet finder en såkaldt "Scaling Law of Prompt Performance Stability": Jo højere gennemsnitlig opgavepræstation, desto lavere varians og større robusthed over for ændringer i prompten. Med andre ord: De formuleringer, der generelt giver de bedste resultater, er også dem, der er mindst følsomme over for små variationer.
To sproglige elementer viser sig at være særligt afgørende for robustheden: (1) domænespecifik terminologi, som forankrer semantiske grænser, og (2) eksplicitte handlingsdirektiver, som formaliserer ræsonnementets forløb. Sammen indsnævrer de modellens fortolkningsrum og "låser" en mere deterministisk adfærd fast.
På baggrund af disse indsigter har forskerne udviklet en automatiseret prompt-optimeringsagent, der systematisk omstrukturerer input ved at injicere domæneforankring og operationelle begrænsninger. I empiriske tests reducerede agenten performance-variansen med 40,7% i en kodegenereringsopgave, samtidig med at den gennemsnitlige præstation blev bevaret eller forbedret.
For beslutningstagere, der bygger eller køber AI-løsninger, er implikationen klar: Prompt-design er ikke bare et teknisk nichetema, men en direkte faktor i output-kvalitet og pålidelighed. Virksomheder, der bruger LLM'er i produktion, bør overveje at investere i systematisk prompt-optimering frem for at overlade formuleringen til tilfældigheder. Den nye agent tilbyder en konkret vej til at reducere uforudsigelighed uden at gå på kompromis med ydeevnen.
