Образы “с обложки” в два клика: как AI находит одежду, читая модные обзоры

Модницы всего мира подтвердят: недостаточно просто следить за трендами и читать рекомендации по сочетанию одежды. Как было бы удобно сразу же, в пару кликов, приобрести то, что понравилось! Резидент Бизнес-инкубатора «Ингрия», компания Sarafan Technology Inc. создала искусственный интеллект, способный распознавать реальные предметы одежды и аксессуары на фотографиях.

В закладки

О том, как легко и ненавязчиво подвести читателя медиапортала к покупке одежды конкретного бренда, рассказала Надежда Анисимова, менеджер по маркетингу и PR в компании Sarafan Technology Inc.

Надежда, расскажите, чем занимается ваша компания?

Компания Sarafan Technology Inc. существует с 2016 года. Мы разработали искусственный интеллект Sarafan.AI и научили его распознавать объекты на фотографиях и видео.

В результате нашего исследования выяснилось, что фото и видео чаще всего вдохновляют людей на покупки fashion-товаров. С их распознавания мы и решили начать.

Сегодня мы работаем с медийными порталами. Наша система анализирует фотографии и видео, опубликованные на сайте, и ищет товары, которые появились в кадре. Все найденные варианты выводятся в виджете. Пользователь нажимает на товар в виджете и переходит в интернет-магазин. Единственное, что нужно сделать медиа, это установить наш виджет. Всю работу выполняет искусственный интеллект.

В наше время многие компании стремятся выпустить свое приложение, почему вы не выбрали этот путь для себя?

Изначально мы разработали мобильное приложение, через которое можно было найти одежду с фотографии. Но уже через год мы решили от него отказаться. Во-первых, пользователи фотографировали товары сами, и любительские снимки не всегда получались качественными. Распознать их искусственному интеллекту было трудно. Это и не удивительно. Как, например, понять, какого цвета светлый плащ, если его сфотографировали в темноте под фонарем? Подобных спорных фото было много, в итоге пользователи не получали искомые результаты и удаляли приложение. Была и вторая причина, по которой мы ушли от этого решения: приложение скачивали, когда нужно было найти вещь, через какое-то время забывали о нем, а потом и вовсе удаляли.

Чем ваша технология может быть полезна “простому пользователю”?

Расскажу, как работает Sarafan.AI на примере. Представьте себе статью о модных трендах. На одной из фотографий — девушка-блондинка в синем пиджаке и платье в горошек, у нее красная помада, в ушах серьги. Система считывает эту информацию и находит похожие платье, пиджак и серьги. Параллельно идёт анализ макияжа: технология определяет цвет помады, тон кожи, структуру волос, а затем подбирает товары-рекомендации для создания такого образа: красную помаду, нюдовую пудру, шампунь для светлых волос. На фото установлена кнопка “Купить такой образ”, либо небольшие пины-отметки на каждом товаре. Читатель нажимает на кнопку или пин, чтобы посмотреть, какие товары изображены на фото, узнать их цену, бренд и при желании сразу перейти к покупке.

Система постоянно проверяет и обновляет ссылки — товары, которые закончились в онлайн-магазине из виджета удаляются. При этом пользователю не нужно устанавливать никакие приложения. Он просто заходит на сайт и читает статью.

Пример работы виджета на портале Cosmopolitan

А какую выгоду получает от сотрудничества медиапортал?

Наша технология используется для интернет-маркетинга. Sarafan.AI встраивает рекламу в контент, и у медиа появляется дополнительный инструмент монетизации. Он не конкурирует ни с контекстной, ни с баннерной рекламой—технология создает новые рекламные места. Медиа получает оплату от рекламодателя за переходы в магазин из виджета (модель CPC), покупки по ссылке из виджета (CPA) или 1000 показов товара в виджете (СРМ). Sarafan берет комиссию с прибыли площадки.

Для медиа виджеты Sarafan — это не только инструмент рекламы, но интерактивное дополнение к контенту. При помощи виджета с каждой фотографией можно взаимодействовать. Соответственно, увеличивается вовлеченность читателя в контент.

Правда, весьма удобно, что пользователь может посмотреть ненавязчивые рекомендации, и в итоге все оказываются в выигрыше. Но есть ли, тем не менее, какие-то подводные камни в работе системы?

Да, есть некоторые особенности. У искусственного интеллекта нет интуиции. Машина видит то, что есть. Она, например, не может догадаться, что на фото, где модель представлена по пояс, изображено платье, а не топ или блуза. Поэтому для корректной работы нашей технологии очень важно качество контента. У крупных медиа с этим проблем нет, а вот у площадок поменьше могут возникнуть трудности. Из-за низкого качества фото система может ошибиться с цветом или даже типом товара.

Автоматическая реклама также не всегда гарантирует безопасность для бренда. Чтобы виджеты не появлялись в статьях с негативным содержанием, мы научили наш искусственный интеллект «читать» — технология определяет тональность текста и не добавляет рекламу в статьи с отрицательным контекстом, например, «Самые неудачные образы звезд» или «Звезда сериала погибла в страшной аварии». Распознавание текста — очень сложная для обучения задача. Во всех языках есть слова с одинаковым написанием, но разным значением (к примеру, зАмок и замОк). Человек может отличить их по смыслу, а машина нет.

Поэтому в спорных случаях к работе подключаются наши асессоры и вручную удаляют статью из разметки. Рекламодатель также может предоставить список стоп-слов, с которыми не должен ассоциироваться бренд.

Виджет на немецком сайте Myself

Каковы перспективы развития вашей технологии?

Совсем недавно мы запустили новый рекламный формат, он называется In-image. Как было уже сказано, наша технология очень четко работает именно с товарами fashion и beauty, но может определять и другие объекты. Например, Sarafan.AI может найти на сайте все фотографии с автомобилями или рождественской елкой, а затем встроить в них подходящую рекламу. В фото с авто — рекламу минивена, с елкой — магазина подарков. Получается, что реклама таргетируется по изображенным на фото предметам. Объекты для таргетинга определяет рекламодатель.

Расскажите, про путь развития компании, привлекали ли вы инвестиции?

С начала 2017 года мы резиденты Бизнес-инкубатора «Ингрия». Здесь рабочая, вдохновляющая атмосфера. Каждый месяц проходят встречи с иностранными инвесторами, мы участвовали во встречах с инвесторами из Прибалтики, Финляндии, Японии, Китая, Бельгии и Нидерландов. «Ингрия» организует мероприятия и с компаниями-потенциальными заказчиками. Не так давно была очень интересная и полезная встреча с Concept Group. Это был уникальный случай: впервые бренд пришел послушать стартапы, а не наоборот.

Встреча с инвесторами из Японии в Технопарке Санкт-Петербурга

Сейчас у нас два офиса, один в Санкт-Петербурге, второй в Нью-Йорке. Все технологические разработки ведутся в России, в США — поиск партнеров и продажи. Мы уже вышли на европейский рынок — подключили партнеров в Германии, ведем переговоры с медиакомпаниями Великобритании, Италии и Польши.

Что касается получения инвестиций, то ведется работа и в этом направлении. Инвесторов для посевной стадии мы решили искать на конкурсах и крупных конференциях. Проект питчили на разных площадках, где и познакомились с нашими первыми инвесторами — фондом The Untitled Ventures и Сергеем Дашковым. Они вложили в проект $400.000. После первых вложений мы уже специально не искали инвесторов, проект начал работать сам на себя. В сентябре 2018 года мы закрыли второй раунд — привлекли $1,3 миллиона от немецкого фонда Admitad Invest, фонд The Untitled Ventures и Сергей Дашков снова вложились в проект.

Какими преимуществами перед конкурентами вы обладаете?

У нас нет конкурентов в России, всего за год мы заключили партнерство со всеми крупными российскими медиадомами. Сейчас мы прорабатываем рынки Европы и США. Здесь конкуренция уже есть, но мы постоянно работаем над тем, чтобы быть на шаг впереди. Например, предлагаем партнерам гибкую бизнес-модель, с нами медиа может выбрать любую модель монетизации. Разумеется, совершенствуем и технологию, сейчас обучаем наш искусственный интеллект распознавать товары в стриминговом видео. Пока ни одна технология сделать это не может.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Технопарк Санкт-Петербурга", "author_type": "self", "tags": [], "comments": 0, "likes": 2, "favorites": 6, "is_advertisement": false, "subsite_label": "services", "id": 67377, "is_wide": false, "is_ugc": true, "date": "Fri, 17 May 2019 17:26:32 +0300" }
SMS-чат для клиентов
{ "id": 67377, "author_id": 258290, "diff_limit": 1000, "urls": {"diff":"\/comments\/67377\/get","add":"\/comments\/67377\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/67377"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 200396, "last_count_and_date": null }

Комментариев нет 0 комм.

Популярные

По порядку

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Голосовой помощник выкупил
компанию-создателя
Подписаться на push-уведомления
{ "page_type": "default" }