En ny teknik fra IBM Research og Hugging Face kan gøre avancerede AI-modeller markant billigere i drift. Metoden, der er beskrevet i et nyt blogindlæg, reducerer antallet af tokens – de små bidder tekst, som modellen behandler – når den skal løse komplekse opgaver. Det lyder teknisk, men konsekvensen er direkte forretningsrelevant: færre tokens betyder lavere omkostninger pr. forespørgsel og hurtigere svar.
Kernen er, at modellen lærer at tænke mere effektivt – altså at nå samme resultat med mindre intern beregning. Ifølge forskerne bag projektet kan metoden levere samme kvalitet med et markant lavere token-forbrug, hvilket gør den interessant for virksomheder, der kører store mængder AI-arbejde i produktion. For en beslutningstager, der skal vælge mellem forskellige AI-løsninger, betyder det, at prisen pr. handling kan falde – uden at man går på kompromis med output.
Metoden er ikke en ny model, men en tilgang til at træne eller styre eksisterende modeller smartere. Det gør den nemmere at tage i brug, fordi man ikke skal skifte fundamentet ud, men kan optimere på den eksisterende infrastruktur. For it-chefer og teknologiledere, der allerede har investeret i store sprogmodeller, er det en opgradering, der kan betale sig hurtigt hjem.
Set i et større perspektiv peger udviklingen på en bredere tendens: konkurrencen i AI handler i stigende grad ikke kun om, hvem der har den største model, men om, hvem der kan levere mest værdi pr. krone. Når tokens bliver billigere, bliver AI også mere tilgængelig for mindre virksomheder og nye use cases, der tidligere var for dyre.
