Единый API-шлюз для сотни LLM
🔹 BerriAI/litellm
⭐ 54692 звёзд · Python
LiteLLM даёт унифицированный интерфейс в формате OpenAI для 100+ провайдеров: Anthropic, Bedrock, Azure, Vertex AI, vLLM, Nvidia NIM. Ядро переписали на Rust — бенчмарки показывают 8ms P95 при 1000 RPS.
Работает двумя способами: Python SDK через uv add litellm или самостоятельный Proxy Server с админкой, виртуальными ключами, трекингом расходов, guardrails и балансировкой. Эндпоинты покрывают chat, embeddings, images, audio, batches, rerank и messages.
Из коробки поддержаны MCP-серверы и A2A-протокол для агентов из LangGraph, Vertex AI Agent Engine, Bedrock AgentCore, Pydantic AI. В продакшене используют Stripe, Netflix, Google ADK, OpenAI Agents SDK.