ИИ помог создать новую модель для программирования за четыре месяца, которая работает в 5 раз быстрее конкурентов

Стартап Recursive выпустил Flint, открытую ИИ модель для программирования, разработанную с помощью автоматизированной исследовательской системы Eureka Machine.

У Flint 40 млрд параметров, но при генерации каждого токена используются только 2,5 млрд благодаря архитектуре MoE. Модель умеет изучать код проектов, исправлять ошибки, добавлять функции, писать тесты и работать с инструментами.

По тестам разработчиков, Flint лидирует среди MoE-моделей до 50 млрд параметров в агентных задачах программирования. По качеству сопоставима с плотными моделями на 25–40 млрд параметров, но работает более чем в 5 раз быстрее.

На MacBook Pro с M4 Pro выдаёт более 125 токенов в секунду, на NVIDIA RTX Spark более 150. Поддерживает контекст до 512 тысяч токенов, хотя разработчики рекомендуют использовать не больше 256 тысяч.

Система Eureka Machine самостоятельно предлагает гипотезы, пишет код для экспериментов, тестирует изменения и выбирает перспективные решения. Она участвовала в разработке архитектуры Flint, обучении и оптимизации скорости работы на GPU.

В итоге небольшая команда людей и ИИ агентов создала модель с нуля менее чем за четыре месяца.

Веса доступны на Hugging Face под лицензией Apache 2.0. Для локального запуска поддерживаются Ollama, LM Studio, llama.cpp и другие инструменты.