(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date(); for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }} k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym"); ym(93857963, "init", { defer: true, clickmap:true, trackLinks:true, accurateTrackBounce:true }); ym(93857963, 'hit', window.location.href);

Новый виртуальный художник от Сбера: встречайте нейросеть Kandinsky 2.2

С улучшенным разрешением генерации, эффектом фотореализма и возможностью вносить локальные изменения в синтезированное изображение.

Новая версия модели научилась создавать фотореалистичные изображения с более высоким разрешением сторон, рисовать детализированные портреты и даже генерировать стикеры, из которых можно собирать полноценные стикерпаки в Telegram. Также бот Kandinsky 2.2 теперь способен изменять по текстовому описанию отдельные объекты или элементы на изображениях, сохраняя композицию исходной иллюстрации. Это стало возможным благодаря внедрению в модель специального структурного блока управляемых изменений — ControlNet.

Kandinsky 2.2 понимает запросы на русском и английском языках (и даже смайлики), умеет рисовать более чем в 20 стилях, смешивать несколько рисунков, стилизовать изображение по текстовому описанию, генерировать изображения, похожие на заданные, дорисовывать недостающие части картинки (inpainting), создавать картины в режиме бесконечного полотна (outpainting).

Для дообучения нейросети использовался датасет в размере 1,5 млрд пар «текст — изображение». Это на 300 млн больше, чем в предыдущей версии — Kandinsky 2.1, которая стала самой быстрорастущей нейросетью в мире, набрав один миллион пользователей всего за 4 дня после выхода.

В чём особенность последней доработки

До Kandinsky 2.2 ни одна генеративная сеть не позволяла контролировать процесс синтеза изображения: можно было долго подбирать промт для желаемой сцены, но так и не получить полностью подходящее изображение. В новом релизе нейросети Сбера вы сможете управлять положением какого-то объекта на картинке, его формой, позой, контурами или границами:

Также значительно улучшилась генерация изображений в сравнении с предыдущими версиями нейросети:

О технических деталях Kandinsky 2.2 читайте в статье на Хабре.

Как можно протестировать модель

Оценить возможности нейросети можно на промостранице модели, на платформе FusionBrain.AI и в Telegram-боте, а также при помощи команды «Запусти художника» на умных устройствах Sber, в мобильном приложении Салют. Модель доступна на платформе ML Space в хабе предобученных моделей и датасетов DataHub.

Авторы

Модель Kandinsky 2.2 была разработана и обучена исследователями команды Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Коллектив авторов: Арсений Шахматов (главный контрибьютор), Антон Разжигаев, Владимир Архипкин, Игорь Павлов, Ангелина Куц, Андрей Кузнецов, Денис Димитров.

0
18 комментариев
Написать комментарий...
Andrew Koshkin

Наверное братцы перестарались ... Предлагаю оставить доступ к версии 2.1

Ответить
Развернуть ветку
Andrew Koshkin

...не различает художественные авторские стили и техники ... сплошной Фотореализм...вероятно обучение состояло в устранении нестандартного взгляда...это и понятно ...видимо учителя, воспитанные на болонской системе и алгоритмах выдали результат своих компетенций) а...что ...так "чистенько, средненько...как у всех"...

Ответить
Развернуть ветку
Bari Hamelson

Вы правы, он не понимает стили авторов. Я составил целый список из 300 шуток, и старая модель Кандинского отрисовывала их в соответствии с их стилем, как и нужно. А эта модель постоянно стремится к зеленому цвету и постоянно добавляет зеленые фильтры на изображение. Она даже рисует игрушки там, где нужно было быть серьезной теме

Ответить
Развернуть ветку
Andrew Koshkin

Потерялись творческие способности...а был реально творческим инструментом, теперь стал таким же как все генераторы ... кукольно-няшным...прежние промты, оригинальные художественные стили не распознает... Не узнаю Кандинского...

Ответить
Развернуть ветку
Bari Hamelson

Вы правы, он даже не может распознать то, что распознавала прошлая модель, а то, что выдает, это вообще ужас. Также он все время рисует в одном стиле. По сути, он не может теперь раскрыть, расширить и дополнить идею. По ощущениям будто бы разработчик вырезали много функций. Самое обидное столько всего не успел на старой модели Кандинского на генерировать. Нужно искать замену.

Ответить
Развернуть ветку
EpiSH

Похоже, что предыдущая версия обучалась на иллюстрациях реальных художников, а новую обучили на картинках разных нейросетей в угоду юридической чистоте.

Ответить
Развернуть ветку
Andrew Koshkin

Кандинский 2.2. промт одинаковый...

Ответить
Развернуть ветку
енот
Ответить
Развернуть ветку
Слава Тверитин

В версии 2.1 понимал что такое стиль borderlands, теперь разучился

Ответить
Развернуть ветку
Bari Hamelson

Проверил все, что раньше было хорошо и правильно. Теперь генерируется шлак, который еще и не похож на то, что просишь. Более того, новая версия неправильно копирует стиль авторов. Похоже, что все наоборот в новой версии. Для дообучения нейросети использовался датасет на 300 миллионов меньше, чем в предыдущей версии. Не похожи ни лица людей, ни персонажи, ни стили авторов. А самое главное - пропала креативность в рисунке. Теперь получается какой-то бездушный рисунок без дополнительных деталей. Сравните изображение как было и как стало и так со всеми изображениями качество хуже во много раз.

Ответить
Развернуть ветку
Andrew Koshkin

Версия 2.1 была более творческой, полет фантазии выдавал очень интересные вариации, была хорошая иллюстративность материала.... Теперь безликое и стандартное дегенеративное изображение...

Кандинский 2.1

Ответить
Развернуть ветку
Andrew Koshkin

Вот теперь с тем же промтом...

Ответить
Развернуть ветку
Andrew Koshkin

Вот "лирическая история" в 2.2

Ответить
Развернуть ветку
Andrew Koshkin

А вот в 2.1... promt одинаковый.... ИМХО 2.2 стал больше роботом, бездушной машинкой...

Ответить
Развернуть ветку
Dmitry Komov

С 2.1 сравнить не успел, но 2.2 меня вполне устраивает, возможно на контрасте показалось бы хуже

Ответить
Развернуть ветку
Михаил Полуянов

Стало гораздо хуже. Волосы и бороды теперь, чаще всего, выглядят как пластиковые парики Кобзона. Полный игнор цвета кожи. В общем, сетка ушла куда-то не туда. Теперь даже для выполнения скромных запросов не годится. Да и в принципе, теперь многие результаты выглядят как пластиковые куклы, или 3D-модели 15-летней давности. Столько всего не успел на 2.1 нагенерировать... Зачем было ломать то, что работает?

Ответить
Развернуть ветку
Дмитрий Ершов

возможно программа еще требует доработки

Ответить
Развернуть ветку
Светлана Ильина

Цвета в сите Аниме просто термоядерные, и ужасная отрисовка, в первых версиях было круче. да, они были с кучей зубов( к примеру), но они были смешными, а сейчас - просто жесть. Стиль 4К улучшили, но арт стили просто слили в трубу:( печаль

Ответить
Развернуть ветку
15 комментариев
Раскрывать всегда