Cactus Compute har udgivet Needle 2, en åben model med 45 millioner parametre, der er specialiseret i værktøjsstyring (tool calling), enhedsbrug og struktureret udtræk. Hele modellen leveres som en enkelt 14MB-binær fil og kan køre en hel session i omkring 28MB RAM. Det fremgår af MarkTechPost.
Modellen er målrettet hardware uden GPU og NPU, hvilket gør den relevant for edge-enheder, indlejrede systemer og andre ressourcebegrænsede miljøer. Needle 2 fører begge Seal-Tools-splits, hvilket indikerer stærk ydeevne inden for værktøjsstyring sammenlignet med andre modeller i samme kategori.
For beslutningstagere betyder dette, at AI-funktioner som værktøjsstyring nu kan implementeres i langt mere kompakte og energieffektive formater. Det åbner for nye anvendelser i IoT, mobile enheder og andre steder, hvor traditionelle store modeller ikke er praktiske. Virksomheder, der overvejer at bygge eller købe AI-løsninger til edge-enheder, bør vurdere, om Needle 2 kan erstatte større, dyrere modeller i specifikke use cases.
