En ny forskningsartikel på arXiv viser, at en eksisterende sprogmodel kan bygges om, så den tænker i flere skridt ved at genbruge de samme vægte – og at den dermed kan ræsonnere dybere og hurtigere end modeller, der er trænet på samme opgave med traditionelle metoder. Teknikken, kaldet "retrofitting recurrent depth", blev demonstreret på Qwen2.5-0.5B-Instruct, som blev delt op i en indledning, en vægt-delt tilbagevendende blok og en afslutning. Resultaterne er interessante for alle, der bygger eller køber AI-løsninger, hvor ræsonnement og hastighed er afgørende – fx i agenter, der skal planlægge eller løse flertrinsopgaver.
Forskerne viser, at modellen kan lære at tage ét opgaveskridt per gennemgang (loop), og at denne evne bevares, selv når kun de endelige svar vurderes. Den installerede mekanisme matchede en fuldt trænet blok (83,8% mod 84,0% på en ARC-baseline) og førte an gennem dybde 11. Det betyder, at man kan opnå samme præstation som en stor, dyr træning med en langt mindre og billigere tilgang – i hvert fald på denne type opgave.
Endnu vigtigere: Den tilbagevendende model kan generalisere til omkring 1,5 gange den dybde, den blev trænet på, og holder 70% nøjagtighed gennem dybde 18. Til sammenligning kollapsede en model trænet med scratchpad-metoden uden for sit lærte horisont. Samlet set vandt den tilbagevendende model med 84% mod 72%, beholdt 53% mod 2,5% af sin præstation ud over dybde 10 og svarede 7,6 gange hurtigere. For beslutningstagere betyder det, at man kan få dybere ræsonnement uden at skulle op i markant større og langsommere modeller.
Men der er også en begrænsning: Da forskerne forsøgte at få modellen til at køre reglen i omvendt retning, kunne den lære opgaven isoleret, men ikke uden at ødelægge den installerede mekanisme og den generelle formåen – et eksempel på katastrofal interferens. Valg af læringsdybde forbliver et åbent problem.
Læs hele artiklen på arXiv for detaljer om metoden og eksperimenterne.
