En ny benchmark, PTXBench, sætter fokus på et voksende område: at bruge store sprogmodeller (LLM'er) til at generere GPU-kode, der er skræddersyet til specifik hardware. Resultaterne viser, at selvom modellerne kan producere kode, der kører korrekt, halter de markant bagefter, når det kommer til faktisk ydeevne – især på komplekse arbejdsbyrder som attention-backward i deep learning.
Benchmarken måler tre ting: funktionel korrekthed, om de valgte instruktioner faktisk eksekveres, og hastighedsforøgelsen i forhold til etablerede biblioteker. Testene kører på H100- og B200-GPU'er og dækker GEMM- og attention-arbejdsbyrder. Ifølge undersøgelsen er evnen til at bruge arkitekturspecifik PTX ujævn: succesraten falder betydeligt på komplekse attention-backward-opgaver, og selv når de ønskede instruktioner eksekveres, oversættes det ikke nødvendigvis til konkurrencedygtig ydeevne.
Ingen af de evaluerede modeller formår konsekvent at matche frontier-bibliotekerne på tværs af hele suite'en. Det er en vigtig pointe for beslutningstagere: Selvom LLM-drevet kodegenerering lover meget, er teknologien endnu ikke moden nok til at erstatte håndoptimerede biblioteker i produktionsmiljøer.
Forskerne bag PTXBench har også forsøgt at forbedre modellerne via supervised fine-tuning af Qwen3.6-27B. Repair-conditioned træning løfter flere opgaver, men generaliseringen forbliver ujævn. Data-dækning, balance og kvaliteten af reasoning-teacher-modellen viser sig at være mindst lige så vigtige som datasætstørrelsen.
For virksomheder, der overvejer at investere i LLM-baseret kodeoptimering, er budskabet klart: Værktøjerne er lovende, men kræver stadig manuel ekspertise og validering. PTXBench tilbyder en auditerbar testplatform, som kan bruges til at måle og forbedre modellernes evne til at udnytte nye GPU-arkitekturer – en ressource, der kan være værd at følge med i, hvis man planlægger at bygge på denne teknologi.
