En ny videnskabelig undersøgelse fra Hugging Face viser, at store sprogmodeller kan overføre deres evner til mindre modeller på et helt nyt tidspunkt i processen: ved testtid, ikke træningstid. Metoden, kaldet strong-to-weak scaffolding, går ud på, at en stærk 'builder'-model konstruerer inferens-harness – altså eksterne strukturer, der guider en svagere models output – uden at ændre den svagere models parametre.
Forskerne testede dette på fire Theory-of-Mind-benchmarks og fandt, at den gennemsnitlige præstation for de svagere modeller næsten blev fordoblet, fra 0.49 til 0.91. Gevinsten kom primært fra at flytte ustabil ræsonnering over i deterministisk kode, benchmark-specifik routing og strengt svarformat, snarere end fra at få modellen til at tænke længere eller sample bredere. Resultaterne er beskrevet i det fulde paper.
For beslutningstagere er implikationen klar: Hvis man har en mindre, billigere model i produktion, kan man opnå markant bedre resultater ved at investere i inferens-harness-design i stedet for at genoptræne eller udskifte modellen. Det er en strategisk mulighed for at forbedre ydeevnen uden de store omkostninger ved finjustering. Samtidig viser undersøgelsen, at svagere modeller får de største gevinster, hvilket gør metoden særligt attraktiv for organisationer, der ønsker at maksimere værdien af eksisterende, mindre modeller.
