En ny teknik fra Dharma AI viser, at GPU-udnyttelsen kan øges med 33 procentpoint alene ved at ændre rækkefølgen af jobs i en klynge – uden at tilføje hardware. Ifølge Hugging Face-bloggen opnåede virksomheden samme klynge, men 33 point mere udnyttelse, blot ved at ændre rækkefølgen.
For virksomheder, der investerer i AI-infrastruktur, er dette en strategisk pointe: før man køber flere GPU'er, kan softwareoptimering udnytte eksisterende kapacitet bedre. Metoden er ikke triviel – den kræver forståelse af jobmønstre og planlægningsalgoritmer, men resultatet peger på, at en del af GPU-manglen kan afhjælpes uden nye indkøb.
Teknisk set handler det om at prioritere jobs, så de fylder huller i klyngen mere effektivt. Bloggens detaljer beskriver, hvordan ændringen påvirker planlægningen, men for beslutningstagere er konsekvensen klar: optimering af jobkøer kan være en billigere vej til mere kapacitet end hardwareudvidelse.
