Chain-of-thought (CoT) prompting har længe været betragtet som en pålidelig måde at forbedre sprogmodellers ræsonnement på. Men ny forskning fra arXiv udfordrer denne antagelse: CoT er ikke en universel forstærker, men en 'båndbredde-bypass', der kun hjælper på opgaver, der kræver seriel dybde – og i nogle tilfælde kan det direkte skade ydeevnen.
Studiet, præsenteret på arXiv, introducerer rammen 'H_dp bandwidth bound' og viser, at CoT-effekten varierer markant afhængigt af opgavetypen. På høj-dybde opgaver som GSM8K og MATH giver CoT en forbedring på +54 til +68 procentpoint på tværs af alle testede modeller. På lav-dybde opgaver som MMLU og ARC er CoT derimod strukturelt redundant – effekten ligger mellem 0,0 og +4,6 procentpoint, uden signifikant negativ effekt.
Det interessante – og bekymrende – er den mellemliggende kategori, repræsenteret ved HumanEval. Her afhænger CoT-effekten af modellens størrelse: +23,2 procentpoint for 32B-modellen, +9,1 for 8B, men -28,7 for 7B. Med andre ord kan CoT på mindre modeller faktisk forringe resultaterne markant.
Forskerne bag studiet, som er præregistreret på OSF, understreger, at CoT ikke bør anvendes blindt. For beslutningstagere, der vælger modeller og prompting-strategier, betyder det, at man skal kende opgavens karakter, før man implementerer CoT – og at modelstørrelse spiller en afgørende rolle.
