En ny undersøgelse fra arXiv viser, at ikke alle dele af en Mixture-of-Experts (MoE) model er lige vigtige, når man vil gøre den mindre og hurtigere. Forskningen, som er beskrevet i Depth-Aware Sensitivity Analysis of Mixture-of-Experts Models via Magnitude-Based Expert Masking, analyserer Qwen3.6-35B-A3B-modellen og finder, at sene lag – især de allersidste – kan tåle aggressiv beskæring af lav-magnitude eksperter uden at gå væsentligt ned i kvalitet. Tidlige og mellemste lag er derimod skrøbelige over for selv moderat masking.

Konkret viser undersøgelsen, at en flad all-layer masking på 30% kun bevarer 150 ud af 300 gode output på en 300-prompt skala, mens en målrettet politik, der fokuserer på sene lag (35-39) med 50% masking, bevarer 249-255 ud af 300 output – samtidig med at den maskerer 640-1.145 eksperter. På en separat valideringsrunde med 500 prompts opnår den snævre meget-sene politik 419/500 gode output ved kun at maskere 640 ud af 10.240 eksperter.

For beslutningstagere, der overvejer at implementere eller købe MoE-modeller, betyder det, at der er et konkret grundlag for at reducere beregningsomkostninger uden at ofre kvalitet – hvis man ved, hvor man skal skære. Den traditionelle tilgang med at beskære jævnt på tværs af alle lag er ineffektiv; i stedet peger forskningen på en dybdebevidst strategi, hvor sene lag kan komprimeres hårdt, mens tidlige og mellemste lag bevares intakte.

Forskerne nævner også, at reduktion af routing-bredden fra 8 til 6 aktive eksperter per token giver en stor målt hastighedsforbedring på en 100-prompt test uden tab af gode output – dog kombinerer det endnu ikke problemfrit med aggressiv ekspert-masking. Dette åbner for yderligere optimering, men kræver mere arbejde, før det kan udnyttes i praksis.

Undersøgelsen er baseret på XLCoST-benchmarken til tværsproglig kodeoversættelse og blev udført på tre H100 GPU-servere. Den etablerer et empirisk fundament for dybdebevidst ekspert-masking og peger på en praktisk vej mod fysisk vægtskirurgi, aktiveringsbaseret ekspert-scoring og træningsbaseret genopretning.