Виртуальная примерочная: бывшие сотрудники Google и «Яндекса» разработали AR-сервис для ритейлеров и привлекли $2 млн Статьи редакции

С помощью технологий дополненной реальности в приложениях Wannaby можно «примерить» кроссовки и «попробовать» лаки для ногтей.

Компания Wannaby разрабатывает технологии компьютерного зрения и рендеринга, чтобы пользователи могли «примерить», как товары из онлайн- и офлайн-магазинов будут смотреться на теле.

В 2018 году стартап привлёк $2 млн от инвестиционных компаний Bulba Ventures и Haxus. За год команда выпустила два мобильных приложения по AR-примерке: Wanna Nails позволяет сравнивать цвета лаков для ногтей на руках, а Wanna Kicks — смотреть, как выглядят разные модели кроссовок на ногах.

Занимается этим белорусская команда во главе с тремя основателями: экс-инженером Google Сергеем Архангельским, бывшим разработчиком «Яндекса» Арсением Кравченко и Дмитрием Пылило, программистом стартапа Aimatter.

Сергей Архангельский рассказал, почему решил оставить корпоративную карьеру в Google, о технологиях Wanna Kicks и монетизации проектов.

Я работал в Google 10 лет — первые восемь лет в московском офисе и ещё два года в Калифорнии. В 2017 году вернулся обратно в Москву и через некоторое время поехал работать в Wannaby, которая находится в Минске.

В калифорнийском Google я работал в команде поискового ранжирования и был состоявшимся профессионалом. Но хотел заниматься собственным проектом — Wannaby стала для меня именно таким. Всего в команде три сооснователя — я, Арсений Кравченко и Дмитрий Пылило.

С другими сооснователями меня познакомил Юрий Мельничек — основатель картографического сервиса Maps.me и создатель инвестиционной компании Bulba Ventures. Мы общались — и я был в курсе дел компании, но полностью присоединился к команде только летом 2018 года.

Уходить из крупной корпорации было страшно, но когда делать что-то своё, если не сейчас? К тому же корпоративная карьера в Google для меня не закрыта — при желании я могу вернуться или пойти в другую компанию.

В том же году Bulba Ventures совместно с фондом Haxus вложила в Wannaby $2 млн. На эти деньги мы работаем до сих пор — развиваем технологию, платим за аренду офиса, а также за сервера, которые используем для обучения наших нейросетевых моделей.

Идея в том, что дополненная реальность может по-новому изменить электронную коммерцию. Позволяя примерять вещи в дополненной реальности, мы разрушаем барьеры между офлайн- и онлайн-покупками.

Один из главных недостатков покупки одежды или обуви через интернет в том, что покупатель не может примерить товар не себе — у него есть только картинка и в лучшем случае видео. Вы не можете никак повзаимодействовать с вещью — сравнить, подходит ли выбранный цвет к вашей коже или одежде.

Изначально мы думали, на какую часть тела нацелить разрабатываемую технологию примерки в дополненной реальности — проводили исследования, общались с ритейлерами. Самая очевидная ниша — лицо и губы — уже были освоены конкурентами. Примерить очки или макияж разных цветов можно даже с помощью технологий от Apple и Google.

Другое дело создать технологию для примерки одежды или аксессуаров на руках и ногах — это показалось перспективным. Мы начали с ногтей и рук, потому что вдохновлялись опытом компании ModiFace, которую купила компания L'Oreal, по слухам, за очень большую сумму. Показалось, что ассортимент товаров, которые можно примерять на руках, достаточно велик — кольца, браслеты, часы.

Мы решили работать над технологией по примерке лаков для ногтей, и в мае 2018 года мы запустили Wanna Nails. Как впоследствии оказалось, рынок лаков для ногтей не очень большой. Если бы мы собрали обратную связь с рынка прежде, чем заняться разработкой, то сэкономили бы несколько месяцев.

В дальнейшем мы нашли способ, как протестировать подобную идею без предварительной разработки программы. В самом начале работы над нашим вторым приложением Wanna Kicks мы сделали видеоролик — показали, как мог бы выглядеть сервис. Видеоролик представили брендам и ритейлерам как рекламный прототип идеи. Отзывы были позитивными, поэтому решили работать над технологией примерки кроссовок.

Техническую задачу по Wanna Kicks можно разделить на три части.

Первое — позиционирование ноги. То есть по снятому видеопотоку нужно понять, как расположена нога, под каким углом, насколько далеко от камеры. В этой части задействован специальный алгоритм, который определяет положение ноги. Он полностью основан на нейросетях, и технологию его работы мы не можем разглашать.

Когда изображение обработает нейросеть, за дело принимается дополнительный алгоритм постобработки, который компенсирует результат нейросети. Это наши уникальные разработки, поэтому мы можем говорить о них лишь в общих чертах.

Чтобы позиционирование ног было максимально точным, мы сформировали отдел разметки. Он собирает фотографии человеческих ног, анализирует их и улучшает разметку в приложении. За счёт этого улучшается качество посадки виртуального кроссовка на ноге.

Когда мы определили положение ноги, нужно понять, какая часть кроссовка скрыта ногой и не должна быть видна на экране. Если мы просто нарисуем кроссовок и поместим его поверх ноги, будет выглядеть, будто кроссовок стоит перед ступнёй, а не надет на неё.

Если включить камеру в приложении и поводить ногой в разные стороны, замечаешь, как некоторые части кроссовка пропадают из виду. Мы называем этот процесс затенением.

Третья задача — рендеринг (отрисовка) кроссовка. Мы много внимания уделяем тому, чтобы обувь, изображенная в приложении, выглядела максимально реалистично.

Для этого мы разработали собственный движок отрисовки PBR (physically based rendering). Он старается физически правильно отрисовать обувь — учесть параметры светоотражения и рассеивания света.

Во время моделирования кроссовок мы также помечаем, из какой ткани сделаны разные его части — указываем движку, что подошва сделана из резины, верх обуви — из ткани, носок — из кожи или металла. Это нужно, потому что в реальности ткань выглядит по-разному, например, металлические части и лакированная кожа отражают цвет, а замша — рассеивает.

Сами модели мы делаем так: берём физический кроссовок и фотографируем его в студии с разных ракурсов — от 200 до 300 раз. Затем используем софт стороннего производителя, который применяет алгоритм фотограмметрии (определение форм, размеров и положения объектов по их фотографиям — vc.ru). Мы пропускаем снимки через фотограмметрию, алгоритм их склеивает и создаёт трехмерную модель — с текстурой и объёмом.

Результат фотограмметрии всё равно выглядит не слишком точно, поэтому мы дорабатываем 3D-модель в автоматическом и ручном режимах.

В разработке сложнее всего было понять, как подходить к задаче. Мы понимали, чего хотим, но не знали, как это сделать. Несколько недель потратили только на исследовательскую работу — читали статьи, ставили эксперименты.

С ногтями был сложный момент — было непонятно, как переносить цвет на ногти. Если закрасить ногтевую пластину одним цветом, будет казаться, что в ногтях просто какие-то цветные дырки. Большая часть нашего ноу-хау по ногтям — это алгоритм перекраски. Команда инженеров много экспериментировала, но результат всё равно оставался неудовлетворительным. Затем мы познакомились с сотрудниками научной лаборатории, которые занимались цветопередачей.

Они подробно объяснили, как это работает, и тогда мы смогли создать алгоритм перекраски, который нас удовлетворил и до сих пор работает. Преимущество алгоритма в том, что он хорошо передаёт цветные блики, за счёт чего ногти с лаком выглядят натурально.

В июне 2018 года приложение Wanna Nails стало продуктом дня и продуктом недели на Product Hunt. А в конце года мы выиграли приз Golden Kitty Awards, как лучший проект в категории AR.

Но мы быстро поняли, что рынок лаков достаточно маленький, нужно было решать, что делать дальше и в какую сторону двигаться. Это был сложный момент — всю нашу стратегию пришлось поставить под сомнение.

Тогда мы на две недели уехали всей командой на хакатон: сняли дом на Кипре, пробовали новые идеи, пытались встряхнуться и взглянуть на наш проект с другой стороны.

Мы были готовы заняться виртуальной примеркой колец на пальцах, но всё-таки решили остановиться на примерке кроссовок — эта тема показалась нам более интересной.

Кольца — это для более зрелых людей, а кроссовки в тренде. Мы провели анализ рынка — потратили время, оценивая, что можем получить, если создадим виртуальную примерку колец, косметики или обуви. В конце концов решили, что у технологии примерки обуви самый перспективный финансовый потенциал.

Наше решение основывалось на нескольких критериях — объёме рынка, количества продаж обуви в год через офлайн- и онлайн-каналы, а также реакции брендов и ритейлеров, с которыми мы общались.

С технической точки зрения виртуальная примерка кроссовок на порядок более сложная задача, чем смена цветов лаков на ногтевой пластине. Готовых решений не было — мы с командой учились вместе: раз в неделю собирались на час и делились друг с другом знаниями.

Команда Wannaby поделена на две части: первая занимается научно-исследовательской работой, придумывает алгоритмы и обучает нейронные сети. А вторая — воплощает заданные алгоритмы на мобильных телефонах. Всего у нас около 23 сотрудника — больше всего инженеров

Офис компании находится в Минске, с поиском кадров помогла репутация наших инвесторов — все знают, что Bulba Ventures и Haxus не будут вкладываться в непонятные проекты.

Также наш сооснователь Арсений Кравченко — неформальный лидер и организатор Open Data Science в Белоруссии — проводит мероприятия и знаком со многими инженерами. Но уже сейчас о нас много написали в СМИ, разработчики сами к нам обращаются — предлагают сотрудничать.

В конце января 2019 года мы запустили приложение Wanna Kicks. Всего на разработку технологии ушло 6 месяцев. Запуск по кроссовкам превзошёл все наши ожидания — за первые четыре дня мы собрали 100 тысяч установок, а за месяц — 240 тысяч.

На сегодняший день запуск приложения — наше лучшее вложение в развитие на b2b- и b2c-рынках. Маркетинговый бюджет компании был минимальный.

Мы не платили за нативную рекламу в СМИ, но вышли на журналиста TechCrunch и смогли заинтересовать его нашей технологией. Он написал о нас историю, а дальше её перепечатали другие зарубежные издания, в том числе и сникерхедские.

Кроме того, Белоруссия — небольшая страна, про нас узнали местные СМИ и вскоре рассказали про приложения даже на государственных телеканалах.

Однажды мы заметили всплеск активности из Германии — оказалось, что компания Vodafone включила нашу компанию в свой обзор технологических новинок. В Швейцарии история о нас вышла на титульном листе газеты, которая раздаётся в общественном транспорте. Совершенно точно есть какой-то вау-фактор, который заинтересовал людей.

Когда долго над чем-то работаешь, начинаешь воспринимать своё дело как должное, и в глаза бросаются только недостатки. А люди со стороны замечают больше достоинств технологии, очень удивляются и радуются. Благодаря этому мы пока хорошо продвигаемся органически.

Основной расчёт по монетизации — применять наши технологии на площадках других компаний, а не только в приложениях Wannaby. Наши разработки — это новый опыт, который бренды могут предложить клиентам.

Также мы хотим внедрить технологию не только в приложениях брендов, но и в офлайн-точках продаж.

Например, вы приходите в магазин обуви и перед примеркой можете посмотреть, как выглядит десяток-другой разных моделей кроссовок на вашей ноге. А если в магазине есть только один цвет выбранной вами модели, вы можете заглянуть в приложение и примерить другой цвет.

Сейчас мы ведём переговоры с небольшой датской сетью магазинов кроссовок. Возможно, вскоре будем делать что-то подобное с ними.

Пока из сотрудничеств с крупными компаниями можно отметить наше партнёрство с Adidas Russiа — мы запустили в нашем приложении модель Ultra Boost 19. Ребята настроены сотрудничать с нами дальше, чтобы в приложении появлялись новые топовые модели кроссовок. Можно было бы запустить и все модели — но всё-таки у компаний и покупателей самый большой интерес вызывают новые модели.

В сентябре 2018 года мы также сделали совместный проект с косметической компанией Orly, они представили новую коллекцию лаков в нашем приложении — девушки смогли зайти и попробовать заранее разные лаки.

Стоимость внедрения нашей технологии зависит от многих факторов, например, сколько потенциальных клиентов у компании-клиента и так далее. Могу сказать, что похожие проекты по примерке макияжа брали от брендов от $100 тысяч до $200 тысяч в год.

Нам также написало много маленьких брендов — из Америки, Франции, Японии и Италии, которые предлагали добавить их ассортимент в приложение, а взамен делиться процентом от прибыли. Но мы понимаем, что пользователи хотят видеть скорее какие-то известные бренды — Nike, Adidas, Reebok.

В последней версии приложения у нас появились кроссовки калифорнийского бренда Allbirds. Мы сотрудничаем на безвозмездной основе, потому что обувь понравилась.

Сейчас мы не занимаемся Wanna Nails — только поддерживаем и улучшаем интерфейс, но технологию не развиваем. Силы сосредоточены на Wanna Kicks, потому что в нём мы видим больше потенциала.

В дальнейшем планируем делать пилотные проекты с компаниями, брендами, ритейлерами и запускать коммерческую эксплуатацию. Но сначала нужно много сделать для улучшения самой технологии — ускорить процесс моделирования и так далее.

Конечно, мы думаем о разработке технологии для виртуальной примерки одежды. Но пока не можем ответить на главные вопросы:

• Как это должно выглядеть с продуктовой точки зрения?
• Это нужно делать с помощью зеркала для примерки?
• Как сканировать всё тело с помощью телефона и сделать этот процесс удобным для пользователей?

А руки и ноги можно легко отсканировать с помощью фотокамеры, поэтому с лаками и кроссовками таких вопросов не возникало.

#ar #wannaby