«Мы хотим доказать, что искусственный интеллект может заменить дизайнеров»

Рассказ московских предпринимателей о разработке нейросети Trendmind, которая создает эскизы одежды.

Привет, меня зовут Татьяна Попова. В 2016 году мы с Сергеем Пономаренко, сооснователем проекта, выходили из Еврейского музея после выставки о влиянии русских авангардистов на моду.

Выставка была построена так, что полотна авангардистов соседствовали с максимально похожими по цветам или крою предметам одежды. Это позволяло быстро проследить закономерности между работами художников и платьями современных дизайнеров.

В это же время на повестке дня модного бизнеса активно обсуждался кризис талантов в индустрии, отсутствие свежих идей и бесконечный поток умелых стилизаций вместо дизайна. Словосочетание «искусственный интеллект», кажется, уже не звучало только из тостера.

Идея родилась буквально на ходу. Мы задумались: а такая ли это сложная задача — придумывать умелые стилизации и смешивать идеи? Может быть для этого не обязателен человек?

Что если отдать творческую задачу машине? Искусственный интеллект мог бы генерировать одежду, изучая и смешивая картины, графику, другую одежду, а человек — шить настоящие вещи на основе сгенерированных изображений.

Мы загорелись идеей, ещё толком не понимая, что из неё может получиться.

Никто из нас не был ИТ–разработчиком. Сергей начал искать такого специалиста. Я — философ по образованию, работаю в сфере коммуникаций и могу давать экспертные оценки в модном бизнесе. Сергей — предприниматель и руководитель отдела разработки в креативном агентстве Red Keds.

Мы долго исследовали тему самостоятельно. Сергей даже записался на курс Стенфордского университета по машинному обучению. Но, как это часто бывает, нас выручил случай.

Сергей увидел на Facebook анонс предстоящей дискуссии об искусственном интеллекте в коворкинге DI Telegraph. Оказалось, что одно из выступлений посвящено как раз той модели, которая в своё время и натолкнула нас на идею: DPL–lab рассказывали о противоборствующих генеративных нейросетях (GAN).

Сергей познакомился с основателем DPL–lab Артёмом Семьяновым и рассказал о нашей задумке. Артёму идея понравилась, и мы начали работу. Ребята уже работали над GAN и вели ряд исследований на эту тему. Так мы объединились с Артёмом и его командой разработчиков: Павлом Воропаевым, Марией Новиковой, Глебом Пособиным, Ильей Соловьевым и Артёмом Бетлей.

Первый предмет одежды, который мы решили сгенерировать — платье. Платья наиболее вариативны — это десятки фасонов и силуэтов, а значит, проще собрать необходимый набор данных для обучения.

Платья интереснее генерировать, чем, например, брюки, где намного меньше деталей и возможностей для фантазии. Для успешного обучения нейросети требовалось большое количество исходного материала — фотографий платьев. Чтобы добыть необходимый материал, мы использовали базу одного популярного интернет–магазина.

Здесь мы подходим вплотную к процессу генерации изображений и модели GAN.

GAN расшифровывается как Generative adversarial networks. Генеративно–состязательные сети. Их принцип работы строится на комбинации двух нейронных сетей. Они схожи по архитектуре и часто зеркально повторяют друг друга.

В процессе обучения одна из сетей учится генерировать изображения из случайного шума, а вторая учится отличать сгенерированное изображение от настоящего.

В нашем случае она должна была отличать, платье на изображении или нет. Другими словами, похоже ли оно на изображения платьев из интернет-магазинов.

После сравнения изображений, вторая сеть сообщает первой, насколько сгенерированные изображения смешиваются с оригинальными и что нужно изменить. Получая эту информацию, первая сеть — генератор — улучшает свои параметры, чтобы сделать более подходящие изображения, пытаясь обмануть вторую сеть.

Вторая сеть также обучается лучше отличать оригинальные и сгенерированные изображения.

Это как если бы фальшивомонетчик учился печатать фальшивые деньги, а банк одновременно с ним учился отличать подделки от настоящих купюр, но у фальшивомонетчика был бы свой человек в банке, который сообщал ему, что не так в каждой партии.

Нейросеть-генератор заучивает концепцию предмета: что такое платье, обувь или другой предмет и все его разновидности. Наши модели умеют придумывать оригинальные дизайны, которые вписываются в понятие той одежды, которую мы имеем в виду.

Первые генерации были такими:

Основная масса платьев в магазине, базу которого мы использовали в первый раз, — простые фасоны масс-маркета, поэтому генерация получилась скучной.

Мы решили попробовать более сложные дизайны. Накидали список интернет-магазинов премиальных брендов, написали для каждого отдельный парсер. В итоге набралось 10 тысяч образцов, используя которые, мы переобучили нашу модель.

Результаты:

Образцы получились маленького размера, нам нужно было увеличить детализацию. Мы настроили и обучили специальную нейросеть, которая повышает разрешение — SRGAN. Эта нейросеть — одна из разновидностей GAN, работа которого описана выше.

В SRGAN при обучении модель на входе получает оригинал изображения и его копию в маленьком разрешении. Сеть-генератор учится восстанавливать изображение из низкого разрешения в высокое, дорисовывая новые пиксели. А вторая сеть проверяет, насколько изображение похоже на оригинал в исходном разрешении.

• Очень сложно обучить GAN генерировать стабильные изображения. Часто вместо подходящих изображений получается мишура. Градиент то «взрывается», то затухает. На выходе получается то цветная каша, то пустота.
• Пришлось создать свою архитектуру моделей для нашей задачи машинного обучения и настроить синхронизацию обучения двух сетей.
• Боролись с переобучением. Переобучение GAN — это процесс, когда модель полностью выучивает исходный набор данных и досконально повторяет исходные изображения. Для того, чтобы этого не происходило, пришлось менять архитектуру сети и подбирать множество параметров обучения.
• Основная сложность — поиск клиентов, потенциальных заказчиков дизайна. Тяжело пробиться к лицу, принимающему решение у крупных брендов, особенно зарубежных. Пока так и не удалось провести полноценный сustomer development, чтобы выстроить наше предложение.

Сегодня у нас есть стабильно работающая нейросеть и отшитая капсульная коллекция платьев по её эскизам. Мы решили самостоятельно пройти полный цикл производства единицы одежды от эскиза до готового образца.

Выбрали три актуальных фасона. Не стали заказывать принт ткани по нашим эскизам, потому что это дорого и долго. Подбирали готовую ткань, максимально похожую на эскиз.

Тип ткани выбирали вместе со швеёй-закройщицей. Каталог готовой коллекции отсняли у друзей в ангаре Хлебозавода. Снимала наша подруга — фотограф Анна Лукьянова, а моделью выступила мисс МГУ 2017 Александра Крамская.

Мы пошли дальше и сегодня у нас есть первый выполненный коммерческий заказ, о котором мы расскажем отдельно.

Первая демонстрация проекта прошла на выставке технологических фешн–стартапов Fashion futurum в рамках Mercedes-Benz fashion week в марте 2017 года. Там у нас был свой стенд. Мы не успевали отшить платья по нашим эскизам, поэтому придумали свой формат презентации, подходящий нашему продукту — презентацию в формате VR.

Мы заранее приехали на площадку выставки, с помощью камеры панорамной съёмки отсняли зал и разместили на отснятом материале манекены с нашими платьями. Уже на выставке гости, надевая VR-очки, оказывались в том же пространстве, но уже в окружении манекенов.

В рамках конференции мы познакомились с представителем фонда Мирославы Думы Fashion tech lab. Сейчас фонд сосредоточен на финансировании проектов «умных» материалов, но мы рассчитываем на сотрудничество в будущем.

Выставка помогла нам получить первый коммерческий заказ. На стенде мы познакомились с Анной Городецкой, основательницей магазина и бренда нижнего белья Trusbox.ru. Сейчас мы готовим совместную коллекцию.

Мы хотим доказать, что машина способна выполнять не только технические операции, но и творческие задачи.

Со всех сторон слышим: «ИИ заменит аналитиков, ИИ заменит кассиров» и так далее. А что если ИИ заменит художников или дизайнеров? Творчество всегда принадлежало человеку. Считалось, что только он способен выполнять нелинейные задачи. Но что если ИИ станет творцом? Заменит дизайнеров? Он уже неплохо с этим справляется: посмотрите ещё раз на наши эскизы. Дизайнеры будут не нужны.

Чем станет искусство, когда его будет создавать искусственный интеллект? А он ужё его создаёт. Наш проект — из числа тех, кто задаёт вектор развития этой истории и развивает её.

• Найти крупный бренд масс-маркета, чтобы реализовать пилотный масштабный проект и точнее отстроить наше предложение.
• Разработать параметризированный GAN для тонкой настройки генерации новых моделей.
• Обучить модель генерировать выкройки.
• Создать модель, которая будет генерировать дизайны с учётом данных о продажах, просмотрах и так далее.