«Вы синиц показываете? Красивое!». Что сгенерировали пользователи с помощью нейросети ruDALL-E от «Сбера»

В топ-3 запросов вошла женская грудь, но не вошли котики.

Команды SberDevices, Sber AI и SberCloud 2 ноября анонсировали мультимодальную нейросеть ruDALL-E, которая создаёт картинки по заданному описанию на русском языке, и сразу запустили демо-сайт, где её можно опробовать.

Поток пользователей, желающих протестировать новинку, превзошел наши ожидания! С момента запуска прошло двое суток, а количество просмотров сайта превысило 2 миллиона. За это время нейросеть сгенерировала более 400 тысяч изображений. Мы очень рады, что наша новая модель вызвала такой интерес, и хотим поделиться первыми результатами её «живой» работы. Рассказывает руководитель команды AGI NLP SberDevices.

Татьяна Шаврина
Обучает нейросети

Где попробовать

Нейросеть можно попробовать на демо-сайте rudalle.ru, в мобильном приложении «Салют» и на умных устройствах Sber. Вызвать нашего молодого художника очень легко – достаточно сказать виртуальным ассистентам «Салют» «Запусти Далли» или «Включи художника», а дальше озвучить запрос на генерацию изображения. Мы учли опыт первых дней и выделили отдельные мощности для того, чтобы быстрее обрабатывать запросы, сделанные через наших ассистентов.

ruDALL-E в мобильном приложении Салют

Что хотят видеть пользователи

В первый день с демо-сайта приходило до 6 тысяч запросов в минуту, на второй день пиковый показатель достиг 9 тысяч. В основном это были пользователи из России, Белоруссии, Германии и Казахстана. Чаще всего люди хотели увидеть, как нейросеть изобразит то, о чём не в состоянии умолчать большинство заборов нашей страны. Второй по популярности опцией оказалась женская грудь, а вот на третьем месте — президент. Коты оказались только на четвёртой строчке, хотя, кажется, в интернете их любят больше всего. В топ запросов вошли также «ктулху», «бог» и «любовь».

Как работает модель

Нейросеть одновременно обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию. Есть два варианта модели: ruDALL-E XL, содержащая 1,3 миллиарда параметров, и ruDALL-E 12B XXL с 12 миллиардами параметров, которая обладает большей ёмкостью и генерирует изображения лучшего качества. Демо-версия основана на меньшей из моделей.

Вот какие изображения сгенерировала демо-версия модели по самым популярным запросам пользователей:

Изображение, полученное по запросу «Клод Моне красивый кот», ruDALL-E XL
Изображение, полученное по запросу «Любовь», ruDALL-E XL
Изображение, полученное по запросу «Ктулху в Р'льехе ждёт рассвета», ruDALL-E XL

Демо-версия модели порадовала многих пользователей достаточно неоднозначными картинками с немалой долей абстракции. Это закономерно, ведь, в отличие от отлаженного промышленного применения, при котором генерируется много изображений и автоматически выбирается лучшее, в демо-версии создаётся только одно – и сразу передаётся пользователю. Это нужно для того, чтобы ускорить процесс работы нейросети над одним запросом, ведь их поступают тысячи в минуту, но мы не хотим заставлять пользователей ждать по несколько часов (а ждать из-за объёма одновременно генерируемых картинок и так приходится). Технически генерация одного изображения занимает в среднем 29 секунд, но мощности не безграничны, поэтому в демо-варианте приходится чем-то жертвовать. Зато можно от души наиграться с запросами к искусственному интеллекту.

Изображение, полученное по запросу «Лучшая картина Васи Ложкина», ruDALL-E XL
Изображение, полученное по запросу «Бобёр на Луне», ruDALL-E XL
Изображение, полученное по запросу «Айфон 14», ruDALL-E XL

Изображение, полученное по запросу «Кресло в форме авокадо», ruDALL-E XL

Изображение, полученное по запросу «Ждун в форме авокадо», ruDALL-E XL

В ноябре 2021 года уже можно будет найти большую модель ruDALL-E 12B XXL в открытом доступе на платформе ML Space — и получить более качественные результаты. В оригинальном варианте модели создание изображений происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества. Подробно почитать об этом можно здесь.

Вот примеры работ большой ruDALL-E:

«Рыжий котик», ruDALL-E 12B XXL
Изображение, полученное по запросу «Лучшая фотография Нью-Йорка», ruDALL-E 12B XXL
Изображение, полученное по запросу «Кресло в форме авокадо», ruDALL-E 12B XXL

Мы постоянно дообучаем модель на дополнительных чистых датасетах и стараемся оптимизировать работу графических процессоров, на которые ложится очень большая нагрузка, ведь каждая картинка, которую получает пользователь, уникальна.

ruDALL-E в цифрах за двое суток:

400 тысяч сгенерированных изображений

— свыше 2 млн посещений демо-сайта

9 тысяч запросов к модели в момент пиковой нагрузки

29 секунд уходит на генерацию одного изображения

ruDALL-E, что это?

Мы с интересом следили за тем, что получалось у наших пользователей, чем они делились в социальных сетях и комментариях, и заметили, что многие картинки вышли забавными и несколько «оторванными» от описания. Почему? Всё просто: нейросеть, хоть и обучается на огромных массивах данных, но воспринимает всё буквально и, в отличие от человека, не учитывает контекст. Например, по запросу «Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря» она выдала картинку, на которой были все необходимые элементы, просто по отдельности — дерево оказалось посреди моря, отдельно от острова.

«Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря», ruDALL-E  XL

По более знакомым для модели запросам получилось и множество очень удачных изображений:

Изображение, полученное по запросу «Безмятежность», ruDALL-E XL
Изображение, полученное по запросу «Тян из аниме», ruDALL-E XL

Изображение, полученное по запросу «Феррари», ruDALL-E XL

Почему синицы?

Очень любопытным оказался кейс с изображением синиц, которых ruDALL-E выдавала по запросу о женской груди. Интересную версию выдвинули авторы N+1, предположив что наши разработчики использовали датасеты с англоязычными описаниями и автоматически перевели их на русский с помощью нейросети для генерации текста ruGPT-3. Это не совсем так. Наша модель обучалась на 120 миллионах пар «изображение-текст», и часть датасета действительно содержала автоперевод с английского на русский язык, отсюда и синицы (в английском языке тоже есть омонимы, например, 'flat' одновременно переводится и как 'плоский', и 'квартира'). Однако никакого отношения к ruGPT-3 перевод не имеет, хотя мы и рады, что эта нейросеть уже приобрела известность.

В действительности целый ряд фотостоков в тэгах alt и title русскоязычных версий своих страниц использует тексты, полученные при помощи самых разных моделей машинного перевода. Простых способов отделения таких автопереведённых описаний от описаний, созданных людьми, к сожалению, не существует. Мы постепенно улучшаем качество описаний в обучающей выборке, как при помощи ручной разметки, так и при помощи различных алгоритмов.

ruDALL-E XL

Как будет развиваться технология?

Работа над обучением модели не останавливается — модель постоянно доучивается на новых данных и тематиках, время работы модели оптимизируется. Использовать её уже сейчас можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, а в будущем она позволит создавать и материалы для рекламы, копирайтинга, архитектурного и промышленного дизайна.

Продуктовый релиз ruDALL-E состоится на конференции AI Journey, которая пройдёт онлайн 10-12 ноября. Попробовать большую модель ruDALL-E 12B XXL и модель ruDALL-E XL можно будет на ML Space. В скором времени у демо-сайта появится и опция генерации картинок по описанию на английском языке, а также перевод интерфейса.

0
75 комментариев
Написать комментарий...
Sergei Zotov

Честно говоря, был удивлен тем, что запросы не цензурируются. Т.е. можно вбить вообще что угодно: и 18+, и политические темы.

Интересно, почему не сделали хотя бы какой-то базовый "черный" список? Ну и в NLP даже для русского языка уже существуют, насколько помнится, разные опенсорсные либы для этого.

Ответить
Развернуть ветку
Сергей Марков

Мы не видели смысла. Любой такой фильтр можно обойти, а само его наличие будет скорее провоцировать людей стремиться это сделать. Кроме того, моделька, лежащая в основе демки, всё равно выложена в открытый доступ.

Из обучающей выборки картинки с матерными описаниями, конечно, изъяли, но, опять же, отфильтровать все 120 млн картинок в обучающей выборке нереально, так что что-то просочилось, конечно

Ответить
Развернуть ветку
Сергей Гладских
картинки с матерными описаниями, конечно, изъяли

Зачем?

Ответить
Развернуть ветку
Сергей Марков

Чтобы уменьшить количество крипа в генерируемых изображениях.

Ответить
Развернуть ветку
Сергей Гладских

Ханжество. Уверен, мат коррелирует с интенсивностью эмоций. То есть возможно с матом теряется и что-то очень интересное.

Ответить
Развернуть ветку
72 комментария
Раскрывать всегда