Når kodnings-agenter skifter mellem en billig og en dyr AI-model midt i en opgave, betaler man en skjult pris: kvalitetsgevinsten er mindre end halvdelen af forskellen mellem modellerne, mens omkostningen er markant højere. Det viser ny forskning fra Hugging Face, der døber fænomenet handoff tax.
Forskerne testede par af lav- og højkapacitetsmodeller fra Claude- og GPT-familierne og varierede retning, timing og grænseflade for skiftet. Resultatet er entydigt: fuld-trajektorie-escalering genvinder mindre end halvdelen af kvalitetsgabet mellem en billig og en dyr model, samtidig med at omkostningen stiger betydeligt.
Interessant nok vender billedet, når man skifter fra dyr til billig model (downshift). Her opnår man et gunstigt forhold mellem pris og kvalitet. Og den foretrukne grænseflade afhænger af retningen: mindre trajektorie-information fra den billige model forbedrer escalation-kvaliteten, mens fjernelse af den dyre models trajektorie forringer downshift-kvaliteten.
For beslutningstagere, der bygger eller køber agent-løsninger, betyder det, at den intuitive strategi – at starte billigt og eskalere til en stærkere model, når det bliver svært – ikke nødvendigvis er den rigtige. Den ekstra kvalitet koster mere, end man ville forvente, og man bør overveje, om man i stedet skal lade den dyre model klare hele opgaven eller planlægge skiftet mere bevidst.
