Mens AI-datacentre løbende udskifter ældre GPU'er, ender tusindvis af stadig funktionsdygtige acceleratorer på brugtmarkedet. Et nyt forskningsprojekt viser, at disse kasserede GPU'er kan samles til et velfungerende cluster, der kan servicere moderne LLM-inference – men kun under helt bestemte betingelser.
Forskerne bag DumpsterCluster byggede fysisk et 128-GPU cluster udelukkende af brugte komponenter og drev det i et år. Resultatet: Til en pris på omkring 22.000 dollars mod 600.000 dollars for et 8-GPU B200-system er de økonomiske fordele markante. Med pipeline-parallelle optimeringer opnår V100-baserede cluster en konkurrencedygtig LLaMA-70B-gennemstrømning, hvilket ifølge forskerne validerer produktionsduelighed.
Men undersøgelsen afslører også en kritisk sammenhæng. Ældre GPU'er bruger væsentligt mere energi per token, hvilket gør de samlede ejeromkostninger kun fordelagtige i regioner med billig elektricitet. Under gennemsnitlig kulstofintensitet i elnettet kan brugte systemer producere op til 4 gange højere samlede CO2-udledninger per token for 8B-modeller og over 40 gange for 70B-modeller sammenlignet med nyere hardware.
For beslutningstagere, der overvejer at købe eller bygge AI-infrastruktur, er pointen klar: GPU-genbrug er ikke universelt bæredygtigt. Hardware-genanvendelse skal strategisk kobles sammen med lav-kulstof energikilder. I regioner med gunstige energipriser og ren elektricitet tilbyder brugte GPU'er en levedygtig vej til at udvide AI-kapacitet, samtidig med at de fremmer overkommelighed, energisikkerhed og miljøansvar.
