🇷🇺 YandexGPT 5 Pro — российский ИИ с китайским сердцем? 🇨🇳
В продолжение поста про стоимость обучения ИИ‑моделей от «больших игроков», мимо радаров как-то проскочила важная новость: в YandexGPT 5 Pro Яндекс использовал предобученные веса китайской модели Qwen‑2.5‑32B‑base от Alibaba вместо того, чтобы стартовать с нуля.
📜 В официальной статье на Хабре Яндекс пишет:
Что, если взять полный цикл обучения модели (Pretrain, SFT, RL), в котором у нас накоплен серьёзный опыт, и инициализировать его не случайными весами, а предобученными — например, Qwen‑2.5‑32B‑base? Именно так мы и сделали — потому что instruct‑версия дала худшие результаты.”
Они добавляют:
Такое совмещение позволило сократить длительность экспериментов в 20 раз и существенно сэкономить ресурсы на подбор гиперпараметров.
🧠 Что это означает на практике?
Да, Яндекс действительно перенял начальный “мотор” — архитектуру и веса, но всё остальное - настройка под русский язык, RLHF (выравнивание под человека), SFT (тонкая доводка на задачах), токенизатор, бенчмарки- делается своими руками (это очень дорого и сложно).
Плюс, Яндекс продолжает развивать облегчённую версию Lite, где всё обучение идёт с нуля, без китайской базы. То есть, экспертиза сохраняется.
❓Зачем так делать?
⚡ Минус 20× итераций — меньше неудачных прогонов → экономия до 20–25 % бюджета и минус 2–3 месяца по срокам.
🗣 Фокус на русском — все свежие данные, токенизатор и финальная настройка адаптированы под российский контекст.
📄 Безопасная лицензия — Apache 2.0 позволяет использовать, модифицировать и продавать модель без раскрытия кода.
🚗 Китайский мотор — но сборка и тюнинг наши
Это как взять готовый двигатель от китайской машины, но:
- встроить его в российскую раму с локальным кузовом и салоном;
- прошить под зимнюю езду, настроить под отечественные дороги и привычки водителя;
- и обслуживать всё это в своей инженерной сети, под полным контролем.
Да, Яндекс не «сдался» и не стал придатком Qwen — он просто умно сэкономил ресурсы, сохранив контроль над качеством и развитием модели.
Но всё равно как-то обидно, что кусок сердца главной российской ИИ-модели made in china 🇨🇳💔
Подписывайтесь на Telegram Егошин | Кеды профессора.