Мы открыли бенчмарк ИИ-агентов на российских облаках. 1 198 задач, 1,8% сбоев.
Если вам по регламенту нельзя отправлять данные в OpenAI и Anthropic (госсектор, банки, закрытый контур, 152-ФЗ), то у вас до сих пор был один способ понять, какая российская модель реально вытянет бизнес-задачу: поверить слайдам вендора или ставить эксперимент на своих деньгах.
Мы выложили свою статистику в открытый доступ.
Что измеряем Каждая модель запускается как полноценный агент с инструментами внутри одного и того же конвейера VibePilot. Задачи не синтетические: сметы, договоры Word, многостраничный Excel с формулами, сайты с формой заявки. Считаем не «качество ответа по мнению другой нейросети», а то, что важно бизнесу: дошла ли задача до готового файла, сколько времени заняла, сколько стоила в рублях.
Что показал лидерборд за 3 месяца
- 1 198 задач, 22 сбоя. Это 1,8%.
- YandexGPT 5 Pro: 322 задачи, 1,2% сбоев, в среднем 2 мин 52 сек, около 4,4 ₽ за задачу.
- Alice AI LLM: 331 задача, 2,4% сбоев, 2,6 ₽ за задачу.
- Qwen3-235B и DeepSeek V4 через Yandex Cloud: 1,9% и 2,2%. Для «свободных» агентов без конвейера в индустрии называют 12–37% брака. Это не контролируемое сравнение, там другие задачи и другой способ считать сбой, но порядок величины показательный.
Почему российские модели у нас не разваливаются Конвейер берёт на себя структуру, валидацию и контроль качества. Модели остаётся только когнитивная часть: понять задачу, придумать содержимое. Именно поэтому платформа стабильно работает на моделях из Yandex Cloud и SberCloud, а не только на западных флагманах.
Забег моделей Можно взять одну задачу и запустить её на двух моделях параллельно. Обе идут через один конвейер, в конце два готовых файла рядом. Пример из вчерашних забегов: сайт стоматологии с формой заявки. YandexGPT 5 Pro собрал за 1 мин 25 сек, Qwen3-235B за 4 мин 51 сек. Акт выполненных работ: Alice AI LLM за 18 секунд.
Идущие забеги видны вживую, регистрация для просмотра не нужна.
Кому это нужно Тем, кто выбирает ИИ-платформу под требование «только российская инфраструктура» и хочет увидеть цифры до пилота, а не после.
Если у вас закрытый контур и нужен агентный слой поверх YandexGPT или GigaChat, напишите, покажем на вашей задаче.