LLM-инференс прямо внутри SQLite
🔹 sqliteai/sqlite-ai
⭐ 160 звёзд · C
Расширение подключает GGUF-модели (Llama, Phi, Qwen, Gemma, DeepSeek) к SQLite и позволяет запускать инференс, генерировать эмбеддинги и стримить токены обычными SQL-запросами через агрегатные функции.
GPU-ускорение через Metal и CUDA, работа офлайн на iOS, Android, Linux, macOS и Windows. Из коробки — транскрипция аудио моделями Whisper (WAV, MP3, FLAC) и разбор изображений мультимодальными моделями (JPG, PNG, BMP, GIF). Готовые бинарники под все платформы уже собраны.
Лицензия — Elastic License 2.0: для непродакшена бесплатно, для боевого использования нужна коммерческая.