Muon er blevet en stærk optimizer til matrix-værdi parametre i prætræning af store sprogmodeller, hvor den tilnærmelsesvist ortogonaliserer momentum med få Newton-Schulz iterationer. Hidtil har teori enten erstattet denne iteration med den eksakte polære faktor eller behandlet den endelige dybde som en tilnærmelsesfejl, hvilket antydede, at iterationen kun kunne skade garantierne. En ny analyse på arXiv vender dette: den viser, at endelig Newton-Schulz faktisk kan være gavnlig for ikke-glidende, ikke-konvek optimering.
Kernen er, at den endelige Newton-Schulz-iteration udglatter den diskontinuerte polære afbildning til en Lipschitz-afbildning af singulærværdierne. Dette gør, at Muon med endelig Newton-Schulz kan betragtes som en online-lærer med et udglattet spektralt potentiale. Forfatterne beviser, at en Newton-Schulz-dybde, der kun vokser logaritmisk med målnøjagtigheden, er tilstrækkelig til konvergens mod stationære punkter i ikke-glidende, ikke-konvek optimering – hvorimod Muon med den eksakte polære opdatering kan fejle med at konvergere. De resulterende prøvekompleksitetsgrænser matcher de bedst kendte garantier for ikke-glidende, ikke-konvek optimering og er optimale for glidende, ikke-konvek optimering op til problemafhængige faktorer.
For beslutningstagere, der bygger eller køber træningsinfrastruktur, betyder dette, at en praktisk, allerede implementeret tilnærmelse i Muon ikke blot er en bekvemmelighed, men en teoretisk fordel i visse scenarier. Det reducerer risikoen ved at satse på Muon til fremtidige træningsløb, især i domæner med ikke-glidende mål, hvor tidligere teori ikke gav klare garantier. Argumentet rækker ud over Newton-Schulz til generelle spektrale afbildninger med samme udglatningsegenskab, hvilket åbner for bredere anvendelser.
