En ny open source model gateway vil ændre måden, virksomheder vælger AI-modeller på. Experiential har bygget en gateway, der samler selv-hostede, frontier og open source modeller på ét sted, og som udnytter din trafik til at træne en model, der bliver bedre til netop dine opgaver. Projektet er open source på GitHub og tager ikke markup på tokens – en direkte udfordring til eksisterende formidlere.
Gatewayen er bygget i Rust for at håndtere høj konkurrence og understøtter alle større inference-udbydere samt over 1000 modeller, der opdateres dagligt via en codex-agent. Den tilføjer under 1 ms latency for BYOK-anmodninger og under 2 ms, når Experiential leverer nøglen. Det er en teknisk præstation, men det interessante er strategien: i stedet for simpel routing, som de fleste gateways tilbyder, bruger Experiential standardiserede OTel-traces til at udvinde repræsentative opgaver fra din trafik. Derefter simulerer de forskellige modellers output ved hjælp af tekst-verdensmodeller, evaluerer med en LLM-judge og bygger en klassifikator, der vælger den optimale model for hver forespørgsel – baseret på en embedding af prompten.
Det betyder, at virksomheder kan få en bedre cost/quality-pareto-kurve end ved at kalde en enkelt model, og at gatewayen kan foreslå cache-optimeringer, nye modeller og endda træne en model baseret på din trafik (opt-in). For beslutningstagere er det en mulighed for at reducere omkostninger og forbedre kvalitet uden at binde sig til én udbyder – og uden at betale markup for routing.
