«Вы синиц показываете? Красивое!». Что сгенерировали пользователи с помощью нейросети ruDALL-E от «Сбера»

В топ-3 запросов вошла женская грудь, но не вошли котики.

Команды SberDevices, Sber AI и SberCloud 2 ноября анонсировали мультимодальную нейросеть ruDALL-E, которая создаёт картинки по заданному описанию на русском языке, и сразу запустили демо-сайт, где её можно опробовать.

Поток пользователей, желающих протестировать новинку, превзошел наши ожидания! С момента запуска прошло двое суток, а количество просмотров сайта превысило 2 миллиона. За это время нейросеть сгенерировала более 400 тысяч изображений. Мы очень рады, что наша новая модель вызвала такой интерес, и хотим поделиться первыми результатами её «живой» работы. Рассказывает руководитель команды AGI NLP SberDevices.

Татьяна Шаврина
Обучает нейросети

Где попробовать

Нейросеть можно попробовать на демо-сайте rudalle.ru, в мобильном приложении «Салют» и на умных устройствах Sber. Вызвать нашего молодого художника очень легко – достаточно сказать виртуальным ассистентам «Салют» «Запусти Далли» или «Включи художника», а дальше озвучить запрос на генерацию изображения. Мы учли опыт первых дней и выделили отдельные мощности для того, чтобы быстрее обрабатывать запросы, сделанные через наших ассистентов.

ruDALL-E в мобильном приложении Салют

Что хотят видеть пользователи

В первый день с демо-сайта приходило до 6 тысяч запросов в минуту, на второй день пиковый показатель достиг 9 тысяч. В основном это были пользователи из России, Белоруссии, Германии и Казахстана. Чаще всего люди хотели увидеть, как нейросеть изобразит то, о чём не в состоянии умолчать большинство заборов нашей страны. Второй по популярности опцией оказалась женская грудь, а вот на третьем месте — президент. Коты оказались только на четвёртой строчке, хотя, кажется, в интернете их любят больше всего. В топ запросов вошли также «ктулху», «бог» и «любовь».

Как работает модель

Нейросеть одновременно обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию. Есть два варианта модели: ruDALL-E XL, содержащая 1,3 миллиарда параметров, и ruDALL-E 12B XXL с 12 миллиардами параметров, которая обладает большей ёмкостью и генерирует изображения лучшего качества. Демо-версия основана на меньшей из моделей.

Вот какие изображения сгенерировала демо-версия модели по самым популярным запросам пользователей:

Изображение, полученное по запросу «Клод Моне красивый кот», ruDALL-E XL
Изображение, полученное по запросу «Любовь», ruDALL-E XL
Изображение, полученное по запросу «Ктулху в Р'льехе ждёт рассвета», ruDALL-E XL

Демо-версия модели порадовала многих пользователей достаточно неоднозначными картинками с немалой долей абстракции. Это закономерно, ведь, в отличие от отлаженного промышленного применения, при котором генерируется много изображений и автоматически выбирается лучшее, в демо-версии создаётся только одно – и сразу передаётся пользователю. Это нужно для того, чтобы ускорить процесс работы нейросети над одним запросом, ведь их поступают тысячи в минуту, но мы не хотим заставлять пользователей ждать по несколько часов (а ждать из-за объёма одновременно генерируемых картинок и так приходится). Технически генерация одного изображения занимает в среднем 29 секунд, но мощности не безграничны, поэтому в демо-варианте приходится чем-то жертвовать. Зато можно от души наиграться с запросами к искусственному интеллекту.

Изображение, полученное по запросу «Лучшая картина Васи Ложкина», ruDALL-E XL
Изображение, полученное по запросу «Бобёр на Луне», ruDALL-E XL
Изображение, полученное по запросу «Айфон 14», ruDALL-E XL

Изображение, полученное по запросу «Кресло в форме авокадо», ruDALL-E XL

Изображение, полученное по запросу «Ждун в форме авокадо», ruDALL-E XL

В ноябре 2021 года уже можно будет найти большую модель ruDALL-E 12B XXL в открытом доступе на платформе ML Space — и получить более качественные результаты. В оригинальном варианте модели создание изображений происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества. Подробно почитать об этом можно здесь.

Вот примеры работ большой ruDALL-E:

«Рыжий котик», ruDALL-E 12B XXL
Изображение, полученное по запросу «Лучшая фотография Нью-Йорка», ruDALL-E 12B XXL
Изображение, полученное по запросу «Кресло в форме авокадо», ruDALL-E 12B XXL

Мы постоянно дообучаем модель на дополнительных чистых датасетах и стараемся оптимизировать работу графических процессоров, на которые ложится очень большая нагрузка, ведь каждая картинка, которую получает пользователь, уникальна.

ruDALL-E в цифрах за двое суток:

400 тысяч сгенерированных изображений

— свыше 2 млн посещений демо-сайта

9 тысяч запросов к модели в момент пиковой нагрузки

29 секунд уходит на генерацию одного изображения

ruDALL-E, что это?

Мы с интересом следили за тем, что получалось у наших пользователей, чем они делились в социальных сетях и комментариях, и заметили, что многие картинки вышли забавными и несколько «оторванными» от описания. Почему? Всё просто: нейросеть, хоть и обучается на огромных массивах данных, но воспринимает всё буквально и, в отличие от человека, не учитывает контекст. Например, по запросу «Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря» она выдала картинку, на которой были все необходимые элементы, просто по отдельности — дерево оказалось посреди моря, отдельно от острова.

«Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря», ruDALL-E  XL

По более знакомым для модели запросам получилось и множество очень удачных изображений:

Изображение, полученное по запросу «Безмятежность», ruDALL-E XL
Изображение, полученное по запросу «Тян из аниме», ruDALL-E XL

Изображение, полученное по запросу «Феррари», ruDALL-E XL

Почему синицы?

Очень любопытным оказался кейс с изображением синиц, которых ruDALL-E выдавала по запросу о женской груди. Интересную версию выдвинули авторы N+1, предположив что наши разработчики использовали датасеты с англоязычными описаниями и автоматически перевели их на русский с помощью нейросети для генерации текста ruGPT-3. Это не совсем так. Наша модель обучалась на 120 миллионах пар «изображение-текст», и часть датасета действительно содержала автоперевод с английского на русский язык, отсюда и синицы (в английском языке тоже есть омонимы, например, 'flat' одновременно переводится и как 'плоский', и 'квартира'). Однако никакого отношения к ruGPT-3 перевод не имеет, хотя мы и рады, что эта нейросеть уже приобрела известность.

В действительности целый ряд фотостоков в тэгах alt и title русскоязычных версий своих страниц использует тексты, полученные при помощи самых разных моделей машинного перевода. Простых способов отделения таких автопереведённых описаний от описаний, созданных людьми, к сожалению, не существует. Мы постепенно улучшаем качество описаний в обучающей выборке, как при помощи ручной разметки, так и при помощи различных алгоритмов.

ruDALL-E XL

Как будет развиваться технология?

Работа над обучением модели не останавливается — модель постоянно доучивается на новых данных и тематиках, время работы модели оптимизируется. Использовать её уже сейчас можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, а в будущем она позволит создавать и материалы для рекламы, копирайтинга, архитектурного и промышленного дизайна.

Продуктовый релиз ruDALL-E состоится на конференции AI Journey, которая пройдёт онлайн 10-12 ноября. Попробовать большую модель ruDALL-E 12B XXL и модель ruDALL-E XL можно будет на ML Space. В скором времени у демо-сайта появится и опция генерации картинок по описанию на английском языке, а также перевод интерфейса.

0
75 комментариев
Написать комментарий...
Сергей Марков

«Рогозин на Марсе»

Ответить
Развернуть ветку
Sebastian Danilov

Как же это офигенно

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Игорь Ильин

Больше на Маска похож, тощеват.

Ответить
Развернуть ветку
Сергей Марков

«Мифический человеко-месяц»

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Кружочек

мне показалось мол это птеродактиль

Ответить
Развернуть ветку
Сергей Марков

Сгенерено ruDALL-E по запросу: «Фаянсовая киса, похожая на Семёна Михайловича Будённого».

Ответить
Развернуть ветку
Вадик Михалев

Я вчера сделал Инстаграм-аккаунт @rudalle.ru с самыми красивыми, угарными и впечатляющими (из тех, что нашёл в медиа и Фейсбуке) произведениями этой нейросети — считайте, коллекционер )

Закидывайте мне, я опубликую ваше тоже .)

Тык по ссылке 👇

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
9 комментариев
Louis Cyphre
Ответить
Развернуть ветку
Stas Filippov

Далли? Тот который Ссальваддор? Ну как же, знаем-знаем.

Стыдно, руководитель команды AGI NLP SberDevices Татьяна Шаврина, стыдно за вас...

Ответить
Развернуть ветку
Сергей Марков

Название модели DALL-E было придумано не Татьяной Шавриной, а специалистами OpenAI. Оно совмещает в себе имя Сальвадора Дали и робота WALL-E. Название ruDALL-E получено лишь добавлением «ru».

Вы бы хотя бы немного разобрались, прежде чем кидать обвинения.

Ответить
Развернуть ветку
Tari S

Радуюсь за Ваш кругозор, Стас! Кажется, его еще можно расширить)

Ответить
Развернуть ветку
Сергей Марков
Ответить
Развернуть ветку
Сергей Марков

«Товарищ майор»

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Sergei Zotov

Из того, что я пробовал, самое клевое получилось такое. Был бы я фанатом Пеннивайза, я бы даже, может, повесил на стену и выдавал это за какой-то арт

Ответить
Развернуть ветку
Аркадий Панин

Походу пора валить с биржи

Ответить
Развернуть ветку
Mr. Pier Dunn

У меня почему-то какая-тт сплошная бесформенная мешанина по вполне вменяемым, точным и конкретным запросам. И генерирует по полчаса, а раньше за 10 минут делалось. Короче, забава на пять минут - ничего полезного или, тем более, умного.

Ответить
Развернуть ветку
Ratstarius

да... уж...

Ответить
Развернуть ветку
Сергей Марков

Пришлите тексты запросов. Сколько раз пробовали?

Время генерации зависит от числа людей, которые делают запросы, сейчас их очень много...

Ответить
Развернуть ветку
Game Topia

Я могу ошибаться, но по моим наблюдениям инновации всегда появляются так.
Кто-то придумывает идею.
Все начинают сливать миллиарды в попытке это реализовать. При чем быстро понимают, что не осилят, но не хотят слазить с инвестиционной трубы.
У кого-то на западе это получается.
Весь мир покупает их устаревшие технологии и выдает за результат многомиллиардных сливов.

Или вы думаете что сбер сможет сделать это первым и разобьёт мои стереотипы? Я не знаю как в мире, в России даже проверку ошибок в тексте не могут сделать.

Ответить
Развернуть ветку
Tari S

Для появления инноваций в продуктах есть несколько стратегий, например, метод интерполяции или постоянный мониторинг зрелости технологий RnD.
Я верю, что самая большая ценность в нашем случае:
1) Open source для всех - OpenAI выложили только научную статью, без кода и без модели. Мы консолидировали усилия нескольких ML-команд, команду вычислительного суперкомпьютера Кристофари, ИИ Институт. Сейчас в англоязычном твиттере уже обсуждают, как прикрутить к нашей модели переводчик. Мы и сами это скоро сделаем)
В этом смысле Сбер выполняет очень важную социальную миссию, если хотите.
2) Развитие российского сообщества вокруг новых технологий. В РФ прекрасные разработчики, но по количеству публикаций в области ИИ Россия совсем не на первых местах, входит только в топ-20. Хочется вносить посиольный вклад и провоцировать новые исследования.
You are welcome!

Ответить
Развернуть ветку
2 комментария
Виталий Горбачев

Можете строить догадки, а можете почитать статью на хабре)

Ответить
Развернуть ветку
Stas Filippov

Проверка ошибок в тексте? Ну что вы такое говорите? Они же не на экзамене!

Ответить
Развернуть ветку
Art Cellar

Я бы хотел узнать очень сильно, из-за чего текст превращается в какие-то непонятные символы? По запросам часто бывает нейросеть выдаёт что-то с текстом, но текст на полученных изображениях размыливается как-то, или даже не знаю, превращается будто в другой язык. Планируется ли это менять как-то?

Ответить
Развернуть ветку
Sergei Zotov

Честно говоря, был удивлен тем, что запросы не цензурируются. Т.е. можно вбить вообще что угодно: и 18+, и политические темы.

Интересно, почему не сделали хотя бы какой-то базовый "черный" список? Ну и в NLP даже для русского языка уже существуют, насколько помнится, разные опенсорсные либы для этого.

Ответить
Развернуть ветку
Сергей Марков

Мы не видели смысла. Любой такой фильтр можно обойти, а само его наличие будет скорее провоцировать людей стремиться это сделать. Кроме того, моделька, лежащая в основе демки, всё равно выложена в открытый доступ.

Из обучающей выборки картинки с матерными описаниями, конечно, изъяли, но, опять же, отфильтровать все 120 млн картинок в обучающей выборке нереально, так что что-то просочилось, конечно

Ответить
Развернуть ветку
4 комментария
Николай Замотаев

Ну вот в яндексовской "балаболе" - цензурируются. Причём довольно жёстко (Терешкову там точно упоминать нельзя). И прислали мне её как раз со ссылкой на то, что именно цензура не пропускает. Явно же неудачное решение?

Ответить
Развернуть ветку
2 комментария
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Сергей Марков

Сгенерено ruDALL-E по запросу: «Русская идея».

Ответить
Развернуть ветку
user_90123129312
Ответить
Развернуть ветку
Роман

Устали искать адекватные картинки для поста из тех, что выдала нейросеть?)

Ответить
Развернуть ветку
Сергей Марков

Не, это не трудно) В зависимости от запроса, конечно, выход годноты разный :) Скажем, по запросу «Кот в форме авокадо» он где-то 40 картинок из 256, а по запросу «Красивый кот» где-то 200 из 256.

Ответить
Развернуть ветку
Benowi Bonro

Здравствуйте! Поддержка вызванная через приложение "Салют" вводит в заблуждение (это я потом сам нашёл правильный ответ), поверхностно отвечает не на те вопросы, не до конца знакома с продуктом "салют".
Я всего лишь хотел узнать как активировать режим "художника" в "салюте".
В итоге мне написали, что такого нет в приложении "салют". Подробнее написал в лс

Ответить
Развернуть ветку
Viktor Kopeykin

«ruDALL-E автопортрет»

Ответить
Развернуть ветку
Владимир

Это гусь в смешной шляпе.
Один вопрос.

Как теперь заснуть?

Ответить
Развернуть ветку
Cerebral Blizzard

Будьте осторожны с использованием этих картинок где либо: сторонние правообладатели могут засудить за плагиат. Мне вчера эта нейросеть впервые выдала картинку с понятной надписью, я обрадовался, а оказалось, что это настоящая обложка настоящей одноимённой книги, только шрифт чуть деформированный. Кто знает, может и другие подобные эпизоды случаются...

Ответить
Развернуть ветку
Oko Lenmi

Что оно такое?

Ответить
Развернуть ветку
Сергей Марков

Приходите к нам на онлайн–семинар в пятницу, расскажем про технические подробности, ответим на каверзные вопросы :)

Ответить
Развернуть ветку
jianku13

А вопрос уже есть!

Видите ли вы возможным в обозримом будущем размещение ссылок на свои мероприятия отличным от формата jpg способом? Спасибо.

Ответить
Развернуть ветку
2 комментария
Кружочек

"Надежда на лучшее"

Ответить
Развернуть ветку
Андрей Серов

"Андрей Серов из Волгограда"

Ответить
Развернуть ветку
Anton Ivanov

угадай репера

Ответить
Развернуть ветку
З. Аквинский

красивый наглый голодный кот

Ответить
Развернуть ветку
Рома Дмитриев

в топ-3 запросов вошла женская грудь, результаты показывать мы, конечно, не будем

Ответить
Развернуть ветку
Игорь Маркелов

[2/2]

Демо-версия модели порадовала многих пользователей достаточно неоднозначными картинками с немалой долей абстракции. Это закономерно, ведь, в отличие от отлаженного промышленного применения, при котором генерируется много изображений и автоматически выбирается лучшее, в демо-версии создаётся только одно – и сразу передаётся пользователю. Это нужно для того, чтобы ускорить процесс работы нейросети над одним запросом. Их поступают тысячи в минуту, но мы не хотим заставлять пользователей ждать по несколько часов. А ждать из-за объёма одновременно генерируемых картинок и так приходится. Технически генерация одного изображения занимает в среднем 29 секунд, но мощности не безграничны, поэтому в демо-варианте приходится чем-то жертвовать, в данном случае – количеством картинок. Зато можно от души наиграться с запросами к искусственному интеллекту.

Ответить
Развернуть ветку
Coolbits

А где же примеры по двум самым популярным запросам? :)

Ответить
Развернуть ветку
Дмитрий Сухов

что ты такое? )))

Ответить
Развернуть ветку
burbon .

Пушкин вампир

Ответить
Развернуть ветку
Art Kha

патриотическая серия

Ответить
Развернуть ветку
Art Kha
Ответить
Развернуть ветку
72 комментария
Раскрывать всегда