DeepSeek открыла исходный код DeepInfer - собственного движка для запуска ИИ-моделей.

Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.

Главное:

- Ускорение инференса - больше запросов за меньшее время.

- Эффективное использование GPU - снижение затрат на вычисления.

- Параллельная обработка - высокая пропускная способность при больших нагрузках.

- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.

DeepInfer опубликован под лицензией Apache 2.0. Разработчики смогут использовать технологии DeepSeek в собственных проектах.

GitHub: https://github.com/deepseek-ai/DeepInfer