En ny foundation model på kun 14MB er designet til at køre direkte på små enheder som telefoner, wearables, smart home-enheder og robotter. Modellen, kaldet Needle, er udviklet af cactus-compute og har nu 5.134 stjerner på GitHub, heraf 769 i dag. Det skriver GitHub Trending.
For beslutningstagere er det væsentlige ikke selve modelstørrelsen, men hvad den muliggør: AI-funktioner kan køre lokalt på enheder, der hidtil har været for små eller for strømbesparende til at rumme traditionelle modeller. Det kan reducere afhængigheden af cloud-forbindelser, sænke latenstid og styrke privatlivets fred, fordi data ikke behøver at forlade enheden.
Needle er stadig et tidligt open source-projekt, men det signalerer en retning, hvor AI bliver distribueret ud i kanten af netværket – ikke kun i datacentre. For virksomheder, der bygger produkter inden for IoT, sundhedsteknologi eller robotik, kan det betyde nye muligheder for at integrere intelligens direkte i hardwaren.
