Öppen källkod-gateway ersätter OpenRouter med bättre modellhantering

Ett utvecklarteam har presenterat ett nytt öppen källkods-projekt på Hacker News: en AI-modellgateway byggd i Rust som syftar till att ersätta eller komplettera tjänster som OpenRouter. Projektet låter utvecklare hantera självhostade modeller, frontier-modeller och öppen källkods-modeller från ett och samma ställe, utan att behöva jonglera med olika API:er och konfigurationer.

Gatewayen är byggd med Rust i grunden, vilket ger hög prestanda och utmärkt stöd för samtidighet. Den hanterar alla de konfigurationsnycklar som skiljer sig åt mellan modeller och leverantörer – inklusive streamingformat, tool calls, modellparametrar, rate limits och olika felbeteenden. Det innebär att utvecklare slipper skriva skräddarsydd kod för varje enskild leverantör.

Prestandan är imponerande: gatewayen lägger till under 1 millisekund för BYOK-förfrågningar (Bring Your Own Key) och under 2 millisekunder när Experiential tillhandahåller leverantörsnyckeln. Med stöd för alla större inferensleverantörer och över 1000 modeller är detta ett ambitiöst och heltäckande verktyg för AI-infrastruktur.

Projektet har väckt stort intresse i Hacker News-communityt, där många utvecklare ser ett tydligt behov av en öppen, transparent och högpresterande gateway som inte låser in användarna i en proprietär tjänst. Att koden är öppen innebär också att communityt kan bidra med förbättringar och anpassa lösningen efter egna behov.