Observability и оценка LLM-приложений
🔹 Arize-ai/phoenix
⭐ 10729 звёзд · Python
Phoenix — платформа для трассировки LLM-приложений, оценки качества, работы с датасетами, экспериментами и промптами. Инструментирование через OpenTelemetry, так что данные снимаются с любого рантайма без vendor lock-in.
Из коробки дружит с OpenAI Agents SDK, Claude Agent SDK, LangGraph, LlamaIndex, DSPy, CrewAI, Mastra и Vercel AI SDK. Провайдеры — OpenAI, Anthropic, Google GenAI, Bedrock, OpenRouter, LiteLLM.
Внутри есть агент PXI для отладки трейсов и итерации по промптам, а также Remote MCP Server: подключаешь Claude Code или Cursor к эндпоинту `/mcp` и работаешь с Phoenix прямо из IDE. Запуск локально: `pip install arize-phoenix && phoenix serve` или через `uvx` без установки.