«Вы синиц показываете? Красивое!». Что сгенерировали пользователи с помощью нейросети ruDALL-E от «Сбера»
В топ-3 запросов вошла женская грудь, но не вошли котики.
Команды SberDevices, Sber AI и SberCloud 2 ноября анонсировали мультимодальную нейросеть ruDALL-E, которая создаёт картинки по заданному описанию на русском языке, и сразу запустили демо-сайт, где её можно опробовать.
Поток пользователей, желающих протестировать новинку, превзошел наши ожидания! С момента запуска прошло двое суток, а количество просмотров сайта превысило 2 миллиона. За это время нейросеть сгенерировала более 400 тысяч изображений. Мы очень рады, что наша новая модель вызвала такой интерес, и хотим поделиться первыми результатами её «живой» работы. Рассказывает руководитель команды AGI NLP SberDevices.
Где попробовать
Нейросеть можно попробовать на демо-сайте rudalle.ru, в мобильном приложении «Салют» и на умных устройствах Sber. Вызвать нашего молодого художника очень легко – достаточно сказать виртуальным ассистентам «Салют» «Запусти Далли» или «Включи художника», а дальше озвучить запрос на генерацию изображения. Мы учли опыт первых дней и выделили отдельные мощности для того, чтобы быстрее обрабатывать запросы, сделанные через наших ассистентов.
Что хотят видеть пользователи
В первый день с демо-сайта приходило до 6 тысяч запросов в минуту, на второй день пиковый показатель достиг 9 тысяч. В основном это были пользователи из России, Белоруссии, Германии и Казахстана. Чаще всего люди хотели увидеть, как нейросеть изобразит то, о чём не в состоянии умолчать большинство заборов нашей страны. Второй по популярности опцией оказалась женская грудь, а вот на третьем месте — президент. Коты оказались только на четвёртой строчке, хотя, кажется, в интернете их любят больше всего. В топ запросов вошли также «ктулху», «бог» и «любовь».
Вот какие изображения сгенерировала демо-версия модели по самым популярным запросам пользователей:
Демо-версия модели порадовала многих пользователей достаточно неоднозначными картинками с немалой долей абстракции. Это закономерно, ведь, в отличие от отлаженного промышленного применения, при котором генерируется много изображений и автоматически выбирается лучшее, в демо-версии создаётся только одно – и сразу передаётся пользователю. Это нужно для того, чтобы ускорить процесс работы нейросети над одним запросом, ведь их поступают тысячи в минуту, но мы не хотим заставлять пользователей ждать по несколько часов (а ждать из-за объёма одновременно генерируемых картинок и так приходится). Технически генерация одного изображения занимает в среднем 29 секунд, но мощности не безграничны, поэтому в демо-варианте приходится чем-то жертвовать. Зато можно от души наиграться с запросами к искусственному интеллекту.
В ноябре 2021 года уже можно будет найти большую модель ruDALL-E 12B XXL в открытом доступе на платформе ML Space — и получить более качественные результаты. В оригинальном варианте модели создание изображений происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества. Подробно почитать об этом можно здесь.
Вот примеры работ большой ruDALL-E:
Мы постоянно дообучаем модель на дополнительных чистых датасетах и стараемся оптимизировать работу графических процессоров, на которые ложится очень большая нагрузка, ведь каждая картинка, которую получает пользователь, уникальна.
ruDALL-E, что это?
Мы с интересом следили за тем, что получалось у наших пользователей, чем они делились в социальных сетях и комментариях, и заметили, что многие картинки вышли забавными и несколько «оторванными» от описания. Почему? Всё просто: нейросеть, хоть и обучается на огромных массивах данных, но воспринимает всё буквально и, в отличие от человека, не учитывает контекст. Например, по запросу «Вечерний пейзаж: скалистый островок с одиноким деревом посреди моря» она выдала картинку, на которой были все необходимые элементы, просто по отдельности — дерево оказалось посреди моря, отдельно от острова.
По более знакомым для модели запросам получилось и множество очень удачных изображений:
Почему синицы?
Очень любопытным оказался кейс с изображением синиц, которых ruDALL-E выдавала по запросу о женской груди. Интересную версию выдвинули авторы N+1, предположив что наши разработчики использовали датасеты с англоязычными описаниями и автоматически перевели их на русский с помощью нейросети для генерации текста ruGPT-3. Это не совсем так. Наша модель обучалась на 120 миллионах пар «изображение-текст», и часть датасета действительно содержала автоперевод с английского на русский язык, отсюда и синицы (в английском языке тоже есть омонимы, например, 'flat' одновременно переводится и как 'плоский', и 'квартира'). Однако никакого отношения к ruGPT-3 перевод не имеет, хотя мы и рады, что эта нейросеть уже приобрела известность.
В действительности целый ряд фотостоков в тэгах alt и title русскоязычных версий своих страниц использует тексты, полученные при помощи самых разных моделей машинного перевода. Простых способов отделения таких автопереведённых описаний от описаний, созданных людьми, к сожалению, не существует. Мы постепенно улучшаем качество описаний в обучающей выборке, как при помощи ручной разметки, так и при помощи различных алгоритмов.
Как будет развиваться технология?
Работа над обучением модели не останавливается — модель постоянно доучивается на новых данных и тематиках, время работы модели оптимизируется. Использовать её уже сейчас можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, а в будущем она позволит создавать и материалы для рекламы, копирайтинга, архитектурного и промышленного дизайна.
Продуктовый релиз ruDALL-E состоится на конференции AI Journey, которая пройдёт онлайн 10-12 ноября. Попробовать большую модель ruDALL-E 12B XXL и модель ruDALL-E XL можно будет на ML Space. В скором времени у демо-сайта появится и опция генерации картинок по описанию на английском языке, а также перевод интерфейса.
«Рогозин на Марсе»
Как же это офигенно
Комментарий недоступен
Больше на Маска похож, тощеват.
«Мифический человеко-месяц»
Комментарий недоступен
мне показалось мол это птеродактиль
Сгенерено ruDALL-E по запросу: «Фаянсовая киса, похожая на Семёна Михайловича Будённого».
Я вчера сделал Инстаграм-аккаунт @rudalle.ru с самыми красивыми, угарными и впечатляющими (из тех, что нашёл в медиа и Фейсбуке) произведениями этой нейросети — считайте, коллекционер )
Закидывайте мне, я опубликую ваше тоже .)
Тык по ссылке 👇
Комментарий недоступен
Далли? Тот который Ссальваддор? Ну как же, знаем-знаем.
Стыдно, руководитель команды AGI NLP SberDevices Татьяна Шаврина, стыдно за вас...
Название модели DALL-E было придумано не Татьяной Шавриной, а специалистами OpenAI. Оно совмещает в себе имя Сальвадора Дали и робота WALL-E. Название ruDALL-E получено лишь добавлением «ru».
Вы бы хотя бы немного разобрались, прежде чем кидать обвинения.
Радуюсь за Ваш кругозор, Стас! Кажется, его еще можно расширить)
«Товарищ майор»
Комментарий недоступен
Из того, что я пробовал, самое клевое получилось такое. Был бы я фанатом Пеннивайза, я бы даже, может, повесил на стену и выдавал это за какой-то арт
Походу пора валить с биржи
У меня почему-то какая-тт сплошная бесформенная мешанина по вполне вменяемым, точным и конкретным запросам. И генерирует по полчаса, а раньше за 10 минут делалось. Короче, забава на пять минут - ничего полезного или, тем более, умного.
да... уж...
Пришлите тексты запросов. Сколько раз пробовали?
Время генерации зависит от числа людей, которые делают запросы, сейчас их очень много...
Я могу ошибаться, но по моим наблюдениям инновации всегда появляются так.
Кто-то придумывает идею.
Все начинают сливать миллиарды в попытке это реализовать. При чем быстро понимают, что не осилят, но не хотят слазить с инвестиционной трубы.
У кого-то на западе это получается.
Весь мир покупает их устаревшие технологии и выдает за результат многомиллиардных сливов.
Или вы думаете что сбер сможет сделать это первым и разобьёт мои стереотипы? Я не знаю как в мире, в России даже проверку ошибок в тексте не могут сделать.
Для появления инноваций в продуктах есть несколько стратегий, например, метод интерполяции или постоянный мониторинг зрелости технологий RnD.
Я верю, что самая большая ценность в нашем случае:
1) Open source для всех - OpenAI выложили только научную статью, без кода и без модели. Мы консолидировали усилия нескольких ML-команд, команду вычислительного суперкомпьютера Кристофари, ИИ Институт. Сейчас в англоязычном твиттере уже обсуждают, как прикрутить к нашей модели переводчик. Мы и сами это скоро сделаем)
В этом смысле Сбер выполняет очень важную социальную миссию, если хотите.
2) Развитие российского сообщества вокруг новых технологий. В РФ прекрасные разработчики, но по количеству публикаций в области ИИ Россия совсем не на первых местах, входит только в топ-20. Хочется вносить посиольный вклад и провоцировать новые исследования.
You are welcome!
Можете строить догадки, а можете почитать статью на хабре)
Проверка ошибок в тексте? Ну что вы такое говорите? Они же не на экзамене!
Я бы хотел узнать очень сильно, из-за чего текст превращается в какие-то непонятные символы? По запросам часто бывает нейросеть выдаёт что-то с текстом, но текст на полученных изображениях размыливается как-то, или даже не знаю, превращается будто в другой язык. Планируется ли это менять как-то?
Честно говоря, был удивлен тем, что запросы не цензурируются. Т.е. можно вбить вообще что угодно: и 18+, и политические темы.
Интересно, почему не сделали хотя бы какой-то базовый "черный" список? Ну и в NLP даже для русского языка уже существуют, насколько помнится, разные опенсорсные либы для этого.
Мы не видели смысла. Любой такой фильтр можно обойти, а само его наличие будет скорее провоцировать людей стремиться это сделать. Кроме того, моделька, лежащая в основе демки, всё равно выложена в открытый доступ.
Из обучающей выборки картинки с матерными описаниями, конечно, изъяли, но, опять же, отфильтровать все 120 млн картинок в обучающей выборке нереально, так что что-то просочилось, конечно
Ну вот в яндексовской "балаболе" - цензурируются. Причём довольно жёстко (Терешкову там точно упоминать нельзя). И прислали мне её как раз со ссылкой на то, что именно цензура не пропускает. Явно же неудачное решение?
Комментарий недоступен
Комментарий недоступен
Комментарий недоступен
Сгенерено ruDALL-E по запросу: «Русская идея».
Устали искать адекватные картинки для поста из тех, что выдала нейросеть?)
Не, это не трудно) В зависимости от запроса, конечно, выход годноты разный :) Скажем, по запросу «Кот в форме авокадо» он где-то 40 картинок из 256, а по запросу «Красивый кот» где-то 200 из 256.
Здравствуйте! Поддержка вызванная через приложение "Салют" вводит в заблуждение (это я потом сам нашёл правильный ответ), поверхностно отвечает не на те вопросы, не до конца знакома с продуктом "салют".
Я всего лишь хотел узнать как активировать режим "художника" в "салюте".
В итоге мне написали, что такого нет в приложении "салют". Подробнее написал в лс
«ruDALL-E автопортрет»
Это гусь в смешной шляпе.
Один вопрос.
Как теперь заснуть?
Будьте осторожны с использованием этих картинок где либо: сторонние правообладатели могут засудить за плагиат. Мне вчера эта нейросеть впервые выдала картинку с понятной надписью, я обрадовался, а оказалось, что это настоящая обложка настоящей одноимённой книги, только шрифт чуть деформированный. Кто знает, может и другие подобные эпизоды случаются...
Что оно такое?
Приходите к нам на онлайн–семинар в пятницу, расскажем про технические подробности, ответим на каверзные вопросы :)
А вопрос уже есть!
Видите ли вы возможным в обозримом будущем размещение ссылок на свои мероприятия отличным от формата jpg способом? Спасибо.
"Надежда на лучшее"
"Андрей Серов из Волгограда"
угадай репера
красивый наглый голодный кот
в топ-3 запросов вошла женская грудь, результаты показывать мы, конечно, не будем
[2/2]
Демо-версия модели порадовала многих пользователей достаточно неоднозначными картинками с немалой долей абстракции. Это закономерно, ведь, в отличие от отлаженного промышленного применения, при котором генерируется много изображений и автоматически выбирается лучшее, в демо-версии создаётся только одно – и сразу передаётся пользователю. Это нужно для того, чтобы ускорить процесс работы нейросети над одним запросом. Их поступают тысячи в минуту, но мы не хотим заставлять пользователей ждать по несколько часов. А ждать из-за объёма одновременно генерируемых картинок и так приходится. Технически генерация одного изображения занимает в среднем 29 секунд, но мощности не безграничны, поэтому в демо-варианте приходится чем-то жертвовать, в данном случае – количеством картинок. Зато можно от души наиграться с запросами к искусственному интеллекту.
А где же примеры по двум самым популярным запросам? :)
что ты такое? )))
Пушкин вампир
патриотическая серия