Når en AI-model skal specialiseres til en opgave beskrevet med få eksempler, findes der fire mekanismer: zero-shot, in-context attention, test-time gradient adaptation og emission af specialist-vægte fra et hypernetværk. En ny undersøgelse fra arXiv kortlægger for første gang systematisk, hvornår den sidste – emission – er det rigtige valg.

Undersøgelsen sammenligner de fire mekanismer på seks opgaver: regression, generering, sprogmodellering, reinforcement learning samt klinisk og genomisk klassifikation. Resultaterne viser, at emission er klart stærkest, når man ser på omkostninger ved samme kvalitet. På klinisk few-shot-klassifikation matcher den den førende amortiserede tabelmodel (TabPFN), men uden at skulle genbesøge støttesættet for hver forespørgsel – i stedet udsender den en genanvendelig specialist. På sinusoid-regression er emission 2–3 størrelsesordener billigere end MAML ved nul test-time-gradienttrin, og selv når træningsbudgetterne udlignes, er forskellen stadig omkring 30 gange.

Men emission kan ikke matche in-context attention på højdimensionel sekvensmodellering. Under matchede budgetter genvinder en one-pass-adapter kun en mindre del af in-context-gevinsten (14,0 % ved 5M, 11,2 % ved 15M). En LoRA-rank-sweep viser, at dette er en delvis kapacitetsbegrænsning: kapaciteten stiger fra 5 % til 21 %, når ranken vokser, men flader ud langt fra fuld genopretning.

Mekanisme-ablationer bekræfter, at den emitterede specialist er ægte opgavebetinget, ikke en memoreret prior. Mere spekulativt viser resultaterne, at emitterede specialister kan komponeres i vægt-rum: interpolation af to specialister sporer den tilsvarende blanding af deres funktioner.

For beslutningstagere betyder det, at emission kan være et omkostningseffektivt alternativ til dyr gradient-tilpasning i scenarier med få eksempler og lave krav til sekvenskompleksitet. Men for opgaver, der kræver højdimensionel sekvensforståelse, er in-context attention stadig overlegen – og emission er ikke et universalmiddel.

Læs hele undersøgelsen på arXiv for detaljer om metoder og resultater.