«Сбер» выложил код Kandinsky WM 1.0 — первого поколения нейросетей «на пути к модели мира» для обучения роботов
Её используют в Центре робототехники «Сбера».
Результат K5 (слева) и дообученной K5-RO (справа). Промпт: «Робо-рука берёт ручку». Источник: «Сбер»
- «Сбер» опубликовал код и веса Kandinsky WM (World Model или «модель мира») 1.0 — «первого» открытого семейства российских моделей для генерации «физически достоверных данных», обучающих роботов и беспилотные такси.
- В набор входят три модели: для дорожных сценариев, манипуляций роборуками и «сложной физики». Они доступны на GitHub, GitVerse, HuggingFace под лицензией MIT для коммерческого использования.
- Модели пригодятся разработчикам беспилотного транспорта, манипуляторов, промышленных и человекоподобных роботов, а также для внедрения компьютерного зрения на производствах, рассказали в «Сбере».
- Их уже применяют в Центре робототехники компании для обучения собственных роботов, а также в институте AIRI для дорожного симулятора.
- Нейросети разработаны на базе Kandinsky 5.0 Video Lite, которую дообучили на видео с камер роботов и беспилотных автомобилей. Генерации можно применять, если реальные съёмки невозможны, поясняют в компании. Например, чтобы обучить такси, как действовать, когда на дорогу выбегают животные.
Источник: «Сбер»
Результат K5 (слева) и дообученной K5-AV (справа). Промпт: «ДТП перед фурой». Источник: «Сбер»
- Kandinsky WM 1.0 — только первое поколение нейросетей «на пути к полноценным моделям мира», которые могут создавать симуляции для тренировки роботов, объясняют в «Сбере». Такую модель, Genie 3, разрабатывает, например, Google. Она открыла к ней доступ для тестировщиков в январе 2026 года. В Google считают, что модели мира — ключевая технология для создания общего ИИ (AGI) и обучения полностью автономных роботов.
- В такой сложной модели мира есть функции генерации кадров, «симуляции» и планирования следующих действий. Kandinsky WM 1.0 разработана для первого этапа. Она синтезирует видео длиной до 5 секунд.
- «Сбер» обучил Kandinsky WM 1.0 на 5,3 млн видео из трёх наборов данных. Для автономного транспорта использовали 1,5 млн видео из 25 стран (датасет Nvidia), для робототехники — 2,2 млн роликов бытовых сцен со складыванием одежды, уборкой, кухонными и другими задачами (датасеты GenRobot и китайской AgiBot). Для «сложной физики» взяли ролики из датасета для Kandinsky 5.0 Video и ещё 300 тысяч новых видео отобрали вручную.