Udviklerne bag det populære open source-projekt llama.cpp har udgivet version b10178, der leverer forbedringer til kørsel af store sprogmodeller på lokal hardware. Udgivelsen, der er tilgængelig på GitHub, indeholder en række optimeringer, der gør det lettere for udviklere og virksomheder at køre AI-modeller uden at være afhængige af skyinfrastruktur.
Selvom den præcise række af ændringer ikke er detaljeret i udgivelsesnoten, markerer b10178 en fortsat iteration på et projekt, der har været centralt for demokratiseringen af AI-adgang. Llama.cpp er kendt for at muliggøre effektiv inferens på CPU'er og GPU'er med begrænset hukommelse, hvilket gør det muligt for mindre aktører at eksperimentere med og implementere sprogmodeller.
Dette betyder noget, fordi omkostningerne ved at køre AI internt falder, og afhængigheden af eksterne API'er kan reduceres. Det er en strategisk fordel for virksomheder, der ønsker at bevare kontrol over data og samtidig udnytte avancerede sprogmodeller.
