Erfaringer med neurale surrogater i optimering er modstridende: samme modeltype kan halvere antallet af evalueringer i én solver, mens den efterlader en anden uændret eller gør den værre. Ny forskning fra arXiv viser, at denne modsigelse forsvinder, når tre faktorer tages i betragtning – og at det er disse, ikke træningsnøjagtigheden, der afgør, hvornår en lært lokal model betaler sig.
Forskerne identificerer tre afgørende faktorer: rolle – en surrogat, der foreslår kandidatløsninger, som den rigtige objektivfunktion stadig skal godkende, hjælper, mens en, der erstatter en gradient, som solveren er afhængig af, skader. Radius – en model tilpasset en optimeringssti er kun pålidelig inden for et afgrænset nabolag, og dens fejl forsvinder hverken, når nabolaget skrumper, eller overlever, når det vokser. Plads – en surrogat kan kun accelerere den fremgang, som basismetoden stadig er i stand til at opnå.
Resultaterne er baseret på 117 benchmark-instanser, hvor beskyttet assistance øgede antallet af løste instanser til høj nøjagtighed fra 67 til 84, mens gradient-erstatning sænkede det til 65. Fjernelse af gradienttermen fra træningstabet reducerede surrogataccept fra 0.703 til 0.148. 1000 parrede sammenligninger over ti støjniveauer viste ingen støjtærskel – kun en basismetode, der stopper tidligt.
For beslutningstagere, der overvejer at implementere neurale surrogater i optimeringspipeliner, er implikationen klar: Effekten er ikke en egenskab ved modellen alene, men et resultat af, hvordan den integreres. En model-baseret trust-region-solver, der efterlader lidt plads, faldt fra 88 til 86, når den identiske surrogat blev tilføjet, mens frigivet interpolationssoftware forblev foran med 103. På en Monte-Carlo-lagermodel var reparation af acceptgrænsefladen værd 10.40 omkostningsenheder mod 0.00 for surrogaten.
Forskningen formaliserer radius-bevidst lokal generalisering og relaterer den til den klassiske fully linear-betingelse, hvilket giver en teoretisk ramme for, hvornår surrogater hjælper. Læs hele papiret på arXiv.
