Локальный запуск LLM с MCP и OpenAI API
🔹 AtomicBot-ai/Atomic-Chat
⭐ 1157 звёзд · TypeScript
Десктопное приложение на Tauri для запуска Llama, Gemma, Qwen, Mistral и Phi прямо на машине — полностью офлайн. Поднимает OpenAI-совместимый API на http://localhost:1337/v1, так что любой существующий клиент цепляется без переделок.
Под капотом три движка вывода: форк llama.cpp с оптимизациями TurboQuant, официальный llama.cpp и MLX-VLM для Apple Silicon. Спекулятивное декодирование через Multi-Token Prediction даёт ускорение 30–70%, а DFlash block-diffusion разгоняет Qwen 3.6 и Gemma 4 до 6× на маках.
По железу: 8GB RAM хватает для моделей 3B, 16GB для 7B, 32GB для 13B. Собирается из исходников на Node.js 20+, работает на macOS 13.6+, Windows 10/11, Linux, iOS и Android. Плюс подключение MCP-серверов для инструментов и доступа к файлам.