«Вы синиц показываете? Красивое!». Что сгенерировали пользователи с помощью нейросети ruDALL-E от «Сбера»

В топ-3 запросов вошла женская грудь, но не вошли котики.

Команды SberDevices, Sber AI и SberCloud 2 ноября анонсировали мультимодальную нейросеть ruDALL-E, которая создаёт картинки по заданному описанию на русском языке, и сразу запустили демо-сайт, где её можно опробовать.

Поток пользователей, желающих протестировать новинку, превзошел наши ожидания! С момента запуска прошло двое суток, а количество просмотров сайта превысило 2 миллиона. За это время нейросеть сгенерировала более 400 тысяч изображений. Мы очень рады, что наша новая модель вызвала такой интерес, и хотим поделиться первыми результатами её «живой» работы. Рассказывает руководитель команды AGI NLP SberDevices.

Татьяна Шаврина
Обучает нейросети

Где попробовать

Нейросеть можно попробовать на демо-сайте rudalle.ru, в мобильном приложении «Салют» и на умных устройствах Sber. Вызвать нашего молодого художника очень легко – достаточно сказать виртуальным ассистентам «Салют» «Запусти Далли» или «Включи художника», а дальше озвучить запрос на генерацию изображения. Мы учли опыт первых дней и выделили отдельные мощности для того, чтобы быстрее обрабатывать запросы, сделанные через наших ассистентов.

ruDALL-E в мобильном приложении Салют

Что хотят видеть пользователи

В первый день с демо-сайта приходило до 6 тысяч запросов в минуту, на второй день пиковый показатель достиг 9 тысяч. В основном это были пользователи из России, Белоруссии, Германии и Казахстана. Чаще всего люди хотели увидеть, как нейросеть изобразит то, о чём не в состоянии умолчать большинство заборов нашей страны. Второй по популярности опцией оказалась женская грудь, а вот на третьем месте — президент. Коты оказались только на четвёртой строчке, хотя, кажется, в интернете их любят больше всего. В топ запросов вошли также «ктулху», «бог» и «любовь».

Как работает модель

Нейросеть одновременно обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию. Есть два варианта модели: ruDALL-E XL, содержащая 1,3 миллиарда параметров, и ruDALL-E 12B XXL с 12 миллиардами параметров, которая обладает большей ёмкостью и генерирует изображения лучшего качества. Демо-версия основана на меньшей из моделей.

Вот какие изображения сгенерировала демо-версия модели по самым популярным запросам пользователей:

Изображение, полученное по запросу «Клод Моне красивый кот», ruDALL-E XL
Изображение, полученное по запросу «Любовь», ruDALL-E XL
Изображение, полученное по запросу «Ктулху в Р'льехе ждёт рассвета», ruDALL-E XL

Демо-версия модели порадовала многих пользователей достаточно неоднозначными картинками с немалой долей абстракции. Это закономерно, ведь, в отличие от отлаженного промышленного применения, при котором генерируется много изображений и автоматически выбирается лучшее, в демо-версии создаётся только одно – и сразу передаётся пользователю. Это нужно для того, чтобы ускорить процесс работы нейросети над одним запросом, ведь их поступают тысячи в минуту, но мы не хотим заставлять пользователей ждать по несколько часов (а ждать из-за объёма одновременно генерируемых картинок и так приходится). Технически генерация одного изображения занимает в среднем 29 секунд, но мощности не безграничны, поэтому в демо-варианте приходится чем-то жертвовать. Зато можно от души наиграться с запросами к искусственному интеллекту.

Изображение, полученное по запросу «Лучшая картина Васи Ложкина», ruDALL-E XL
Изображение, полученное по запросу «Бобёр на Луне», ruDALL-E XL
Изображение, полученное по запросу «Айфон 14», ruDALL-E XL

Изображение, полученное по запросу «Кресло в форме авокадо», ruDALL-E XL

Изображение, полученное по запросу «Ждун в форме авокадо», ruDALL-E XL

В ноябре 2021 года уже можно будет найти большую модель ruDALL-E 12B XXL в открытом доступе на платформе ML Space — и получить более качественные результаты. В оригинальном варианте модели создание изображений происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества. Подробно почитать об этом можно здесь.

Вот примеры работ большой ruDALL-E:

«Рыжий котик», ruDALL-E 12B XXL
Изображение, полученное по запросу «Лучшая фотография Нью-Йорка», ruDALL-E 12B XXL
Изображение, полученное по запросу «Кресло в форме авокадо», ruDALL-E 12B XXL

Мы постоянно дообучаем модель на дополнительных чистых датасетах и стараемся оптимизировать работу графических процессоров, на которые ложится очень большая нагрузка, ведь каждая картинка, которую получает пользователь, уникальна.

ruDALL-E в цифрах за двое суток:

400 тысяч сгенерированных изображений

— свыше 2 млн посещений демо-сайта

9 тысяч запросов к модели в момент пиковой нагрузки

29 секунд уходит на генерацию одного изображения

ruDALL-E, что это?

Мы с интересом следили за тем, что получалось у наших пользователей, чем они делились в социальных сетях и комментариях, и заметили, что многие картинки вышли забавными и несколько «оторванными» от описания. Почему? Всё просто: нейросеть, хоть и обучается на огромных массивах данных, но воспринимает всё буквально и, в отличие от человека, не учитывает контекст. Например, по запросу «Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря» она выдала картинку, на которой были все необходимые элементы, просто по отдельности — дерево оказалось посреди моря, отдельно от острова.

«Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря», ruDALL-E  XL

По более знакомым для модели запросам получилось и множество очень удачных изображений:

Изображение, полученное по запросу «Безмятежность», ruDALL-E XL
Изображение, полученное по запросу «Тян из аниме», ruDALL-E XL

Изображение, полученное по запросу «Феррари», ruDALL-E XL

Почему синицы?

Очень любопытным оказался кейс с изображением синиц, которых ruDALL-E выдавала по запросу о женской груди. Интересную версию выдвинули авторы N+1, предположив что наши разработчики использовали датасеты с англоязычными описаниями и автоматически перевели их на русский с помощью нейросети для генерации текста ruGPT-3. Это не совсем так. Наша модель обучалась на 120 миллионах пар «изображение-текст», и часть датасета действительно содержала автоперевод с английского на русский язык, отсюда и синицы (в английском языке тоже есть омонимы, например, 'flat' одновременно переводится и как 'плоский', и 'квартира'). Однако никакого отношения к ruGPT-3 перевод не имеет, хотя мы и рады, что эта нейросеть уже приобрела известность.

В действительности целый ряд фотостоков в тэгах alt и title русскоязычных версий своих страниц использует тексты, полученные при помощи самых разных моделей машинного перевода. Простых способов отделения таких автопереведённых описаний от описаний, созданных людьми, к сожалению, не существует. Мы постепенно улучшаем качество описаний в обучающей выборке, как при помощи ручной разметки, так и при помощи различных алгоритмов.

ruDALL-E XL

Как будет развиваться технология?

Работа над обучением модели не останавливается — модель постоянно доучивается на новых данных и тематиках, время работы модели оптимизируется. Использовать её уже сейчас можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, а в будущем она позволит создавать и материалы для рекламы, копирайтинга, архитектурного и промышленного дизайна.

Продуктовый релиз ruDALL-E состоится на конференции AI Journey, которая пройдёт онлайн 10-12 ноября. Попробовать большую модель ruDALL-E 12B XXL и модель ruDALL-E XL можно будет на ML Space. В скором времени у демо-сайта появится и опция генерации картинок по описанию на английском языке, а также перевод интерфейса.

0
75 комментариев
Написать комментарий...
Вадик Михалев

Я вчера сделал Инстаграм-аккаунт @rudalle.ru с самыми красивыми, угарными и впечатляющими (из тех, что нашёл в медиа и Фейсбуке) произведениями этой нейросети — считайте, коллекционер )

Закидывайте мне, я опубликую ваше тоже .)

Тык по ссылке 👇

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Sergei Zotov

либа с лицензией Apache-2.0

https://github.com/sberbank-ai/ru-dalle/blob/master/LICENSE.txt

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
72 комментария
Раскрывать всегда