LiteLLM, et open source AI-gateway-projekt, har opnået 55.670 stjerner på GitHub og tilføjer i øjeblikket 104 stjerner dagligt. Projektet har et Rust-core med en Python SDK og giver virksomheder mulighed for at kalde 100+ LLM API'er i OpenAI-format eller native format, med funktioner som omkostningsstyring, guardrails, load balancing og logging. Dette understøtter store udbydere som Bedrock, Azure, OpenAI, Anthropic, VertexAI, vLLM og Nvidia NIM, ifølge GitHub-repositoriet.
For beslutningstagere, der overvejer at bygge eller købe AI-infrastruktur, er dette relevant, fordi en gateway som LiteLLM kan reducere kompleksiteten ved at integrere flere LLM-udbydere. I stedet for at binde sig til én udbyder, kan en virksomhed skifte eller kombinere modeller uden at omskrive applikationer. Rust-core'et signalerer fokus på ydeevne og lavere latens, hvilket kan være afgørende for applikationer med høje krav til responstid. Den indbyggede omkostningsstyring giver desuden økonomisk gennemsigtighed, hvilket er vigtigt, når AI-forbruget vokser.
Selvom dette ikke er en ny model eller en finansiel begivenhed, er det en infrastrukturløsning, der kan påvirke, hvordan virksomheder vælger at implementere AI. For dem, der står over for at skulle skalere AI-brug på tværs af flere udbydere, kan en sådan gateway være et strategisk valg, der øger fleksibilitet og reducerer lock-in. Det er dog værd at bemærke, at dette er et open source-projekt, og virksomheder bør vurdere support, vedligeholdelse og sikkerhed, før de forpligter sig.
