Что нейросети могут делать с изображениями на примере Stable Diffusion
Сегодня поговорим о сети Stable Diffusion. В отличие от других генераторов изображений, она хороша тем, что для нее можно добавлять "моды", которые дают ей конкретные функций, применимые в практической деятельности как дизайнера, так и продавца OZON
Что такое Stable Diffusion?
Это одна из "большой тройки" генераторов изображений. Яндекс туда не входит=)) Остальные два - Dalle и Midjourney.
Dalle стремится к хорошему созданию фотографий, но отлично справляется пока только с графикой. Midjourney делает хорошие крупные планы, хоть в и мультяшном 3d стиле.
Stable Diffusion же хвалится тем, что создали нейросеть, не уступающую конкурентам, при этом используя для обучения не миллиарды образцов, а лишь миллионы. Классический стабл делает хорошие концептуальные картинки, но с модами он преображается и становится применим в работе не только людей, связанных с искусством.
Что умеет Stable Diffusion?
Стабильная диффузия - проникновение изображений друг в друге на основе миллионной выборке. Причем проникновение стабильное, без уродств.
Какие бывают уродства?
Уродства случаются, когда изображение не квадратное, диффузия летит куда-то вбок. И тогда появляются артефакты. Так же артефакты появляются, когда выборка изображений для генерации слишком большая.
Давайте посмотрим на примеры. Больше всего будут видны артефакты на основе обученной, но никак не настроенной модели SD - OpenJourney
Когда задаем кривой запрос, мы получаем вихрь:
Когда не настроен вес, температура и всякая подобная фигня, получаем:
А это бегемот:
Итак, пробуем поднастроить и уже выходит не плохо...
Еще немного и все хорошо:
А теперь нормальные примеры
Stable Diffusion хорош тем, что он открыт для разрабочиков и на основе него можно создавать обученные модели (моды).
Сейчас посмотрим, как он работает в базовом и в обученном виде. Один минус, в обученном виде он работает только через Api, то есть на сервисах, созданных сторонними разработчиками и стоит денег, хоть и небольших.
Сам SD в базовой браузерной версии бесплатный, но тупит=))
Базовая версия Stable Diffusion
Классическая генерация изображений по любому запросу. Базовый SD схож с Dall-e, без подробных промптов он выдает странные изображения. Магия наступает в обученных версиях.
Что, если писать подробные промпты:
И опять же! Короткий промпт "beautiful girl", ужас:
Логотип (мод - Logos)
Включили мод, при котором нейросеть автоматически генерирует логотипы, и получаем классные графичные картинки
rhino:
Колоризация (обученная модель)
Если хотите увидеть в необычном формате старые семейные фото, используйте мод для колоризации. Причем нейросеть, судя по всему, понимает, что есть что на изображении (на основе миллионов плюс-минус похожих) и правильно окрашивает элементы. Понятно, что некоторые вещи не имеют типового цвета и сеть может ошибиться.
Изменение внешности (обученная модель)
Хотите примерить новую прическу? Выглядит на примере, не очень))
OpenJourney
Это обученная модель, перенявшая в себя некоторые визуальные приемы Midjourne, но все же картинки явно другие.
Как пользоваться Stable Diffusion?
В чистом виде Stabble Diffusion доступен бесплатно на их сайте.
На сайте генерация дольше и иногда есть ошибки. Часто выдает ошибки, о чем свидетельствует оповещение сверху поля для ввода. Более быстрая генерация только при работе через Api за деньги.
Как пользоваться модами?
Для использования обученных моделей (модов), обычно применяется Api с разработками, которые можно внедрять в различные сервисы.
Мы так же через api интегрировали Stable Diffusion и моды в тг. Там так же нейросеть Kandinsky от Сбера. В конце статьи можете все проекты посмотреть=)
Так же отмечу, что в SD важно писать подробные Промпты - задания для нейросети.
PS. лайк, пожалуйста, он помогает продвижению статьи, а значит дает мотивацию писать дальше
Ну и как положено на VC, канал телеграм))) Канал и чатик
Туда выкладываю статьи VC и то, что нет в VC. Мысли, идеи, опыт.
В закрепленных канале всегда телеграм боты Kolersky для доступа в ChatGPT, GPT-4 без VPN, а так же генераторы изображений Midjourney, Dall-e, Stable Diffusion (проект KolerskyAI).
Главный плюс SD это что там не залочен 18+ и основная движуха с модами идет в области порнухи (и успехи там прям впечатляющие)
Как известно, порнуха - главный двигатель прогресса, который потом внедряется в остальные отрасли (потоковое видео, p2p, платежи онлайн итд) Так что за SD будущее
Есть ещё второй двигатель прогресса, он интересно только со стороны наблюдает?
О нем обычно сразу не говорят
Привет. Локальный stable diffusion обладает всеми плюсами которые вы указали, а так же дополнительными: возможность использовать свои обученные модели на основе ваших изображений, возможностью поднять sd на сервере в локальной сети и пошарить доступ к веб интерфейсу и т.д. Сильной стороной является возможность использования двух обученных моделей для создания уникального визуального стиля, а так же промт расширение - функционал который генерирует расширенные подробные промты с помощью нейросети.
А главное - бесплатно полностью и неограниченно конфигурируемо. Установка занимает около получаса, из которых 20 минут это клонирование репозиториев.
А что с авторскими правами на картинки?
Великолепный вопрос. Если вы про лицензию local sd - то вы с помощью скриптов вы создаете уникальное новое изображение путем ввода уникального промта и seed. Значит автор - вы - тот кто создает изображение. Если про материалы для обучения, тут сложнее. Так как вы можете обучать модель на основе собственной подборки материалов. В теории - вы можете генерировать изображения свободные от потенциальных претензий авторов. Теоретический кейс: дизайн студия обучает модель на основе собственного портфолио, wip, концептов - в таком случае база для обучения будет достаточно объемной, IP (intellectual property) будет принадлежать студии. Но это сферический конь в вакууме. В реальности - IP моделей серая зона и нормального регулирования попросту нет.
Комментарий удален модератором
"Стабильная диффузия - проникновение изображений друг в друге на основе миллионной выборке. Причем проникновение стабильное, без уродств." — чего?))))
"Для использования обученных моделей (модов), применяется только Api с разработками." — чегоооо?)))
Скажите, где ошибки. Исправим и вынесем изменения в статью )
stable diffusion — это просто код, какое API? поставил куда-либо (на комп, на сервер, на инстанс), использовал.
ну а первое предложение про проникновение изображений друг в другЕ на основе миллионной выборкЕ — тут то ли переводчика изнасиловали, то ли что, смысла в этом никакого нет. чего проникновение? куда? на какой миллионной выборке?) разберитесь сначала, мб, потом статьи пишите)))
С MJ v5 мне гораздо проще оказалось получить крутой контент для таргета.
Возможно, "арты" SD генерирует лучше, чем MJ.
Sd требует твиков настроек, тогда можно делать «не хуже». Он сложнее но и мощнее (с точки зрения возможностей). Имхо
Комментарий недоступен
достаточно неплохие работы как для ии
Я набросал туториал по установке локальной версии stable diffusion. Welcome 🤗
https://vc.ru/ml/693785-stable-diffusion-ustanovka-i-nastroyka-lokalnoy-versii-dlya-besplatnoy-generacii-izobrazheniy-bez-ogranicheniy