Стрит-арт-художник создал приложение для рисования при помощи дополненной реальности

Ему удалось набрать 150 тысяч пользователей без расходов на маркетинг, стать партнёром Huawei и привлечь Покраса Лампаса в качестве амбассадора.

SketchAR — приложение, которое учит рисованию с помощью дополненной реальности.

Пользователь выбирает эскиз, который накладывается поверх чистого листа бумаги, а затем обводит линии, пока не получится готовый рисунок.

За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот эту линию стоило бы сделать потолще».

Со временем советы становятся более индивидуальными — наблюдая за руками художника, ассистент «учится» и определяет уровень его навыков.

Кроме того, у SketchAR есть режим для рисования на вертикальных поверхностях. Он предназначен для более удобного переноса готовых рисунков на стену, и в нём нет пошагового сопровождения.

Процесс выглядит так: сперва пользователь выбирает изображение (или фото) на устройстве, и оно преобразуется в эскиз. Затем наводит камеру на участок стены и фиксирует шаблон: линии останутся неподвижными, даже если смартфон перемещать в пространстве.

Рисование на вертикальных поверхностях доступно для устройств, которые поддерживают библиотеку ARKit (iOS) или ARCore (для Android, в прошлом она называлась Google Tango).

Режим рисования на горизонтальных поверхностях поддерживают все современные смартфоны.

SketchAR — продукт родом из технопарка Вильнюса, но за ним стоит команда с российскими корнями.

Андрей (Adno) Дробитько — дизайнер, стрит-арт-художник и ИТ-предприниматель. В 2008 году он открыл агентство Art Family Group — разрабатывал брендирование, типографику, а позже — интерфейсы для мобильных приложений.

Три года спустя он вместе с партнёрами Александром Данилиным и Антоном Прониным запустил свой первый стартап Kula Tech. Предприниматели развивали платформу, которая адаптировала сайты СМИ для мобильных устройств — вёрстка статей становилась похожей на журнальную, а реклама встраивалась нативно.

Kula Tech прошёл акселерационную программу в бизнес-инкубаторе Farminers и привлёк $150 тысяч. А в 2013 году — $1,5 млн от Farminers и фонда IMI.VC.

В 2014 году платформу использовали 14 изданий, включая российские Maxim, Elle, Marie Claire и английский Burda. По данным РБК, выручка Kula Tech составляла $30 тысяч в месяц, однако компания не приносила прибыль.

В 2015 году Kula Tech пришлось закрыть. Из-за возросших курсов валют многие издания обанкротились, а оставшиеся — сократили рекламные бюджеты. «Поскольку основным источником выручки для нас была реклама, у нас тоже всё благополучно загнулось», — поясняет Дробитько.

Он стал думать, чем заниматься дальше. Вспомнил об идее, над которой размышлял ещё в 2012 году, — создать приложение для стрит-арт-художников, которое помогало бы рисовать с помощью дополненной реальности и упрощало бы процесс.

В то время его остановило то, что смартфоны были недостаточно мощными, чтобы обрабатывать видео с камеры в режиме реального времени.

В 2016 году он предложил своему бывшему партнёру Александру Данилину запустить новый проект — SketchAR. Их поддержал прежний инвестор — фонд IMI.VC, который вложили в проект €150 тысяч под новые условия. Подробности и распределение долей Дробитько не раскрывает.

После закрытия Kula Tech в новую компанию Дробитько перешли 10 из 20 сотрудников, включая Android- и iOS-разработчиков. Однако предприниматель понимал, что этого недостаточно: разработка алгоритмов для компьютерного зрения потребует фундаментальных знаний в области математики.

Он решил найти таких специалистов и столкнулся с проблемой. «Как правило, хорошие квалифицированные исследователи не ищут работу, тем более не ходят по специальным сайтам. Таких людей нет ни на HeadHunter, ни в “Моём Круге”, и HR до них достучаться не могут», — рассуждает сооснователь SketchAR.

Дробитько повезло — он познакомился с одним разработчиком, который занимался исследованиями в области компьютерного зрения и писал кандидатскую работу по этой теме в одном из университетов на юге России.

Он познакомил предпринимателя со своими коллегами по исследовательской группе, и Дробитько предложил молодым учёным присоединиться к проекту. Они разработали ядро системы.

Разработка SketchAR началась летом 2016 года. Первоначально Дробитько собирался создавать продукт для профессиональных художников, чтобы они могли рисовать эскизы и переносить их на стены.

Однако после исследования рынка он заметил, что в некоторых странах (например, в Китае, России и Франции) один из самых высокочастотных поисковых запросов — это «научиться рисовать».

Тогда он решил в первую очередь сфокусироваться на массовой аудитории и разработать продукт на стыке онлайн-обучения, искусства и развлечений.

По данным Дробитько, к 2021 году объём рынка дополненной реальности составит до $130 млрд, а рынка онлайн-образования к 2022 году — до $280 млрд.

Видео с камеры смартфона, которое отображается на экране, — это последовательность из множества статичных кадров.

Чтобы отобразить эскиз рисунка в дополненной реальности на лист бумаги, нужно:

По словам Дробитько, когда команда приступила к разработке ядра, компьютерное зрение было исследовано не очень хорошо.

Библиотека OpenCV, которая использовалась при разработке проектов в сфере дополненной реальности, хорошо определяла лица и распознавала текст, чуть хуже — объекты.

Рисование предполагает, что камера пользователя смотрит на белый лист бумаги — и вот тут алгоритмы компьютерного зрения оказались бессильны: они не могли оценить расстояние до объекта и рассчитать координаты в пространстве.

Впрочем, есть альтернативный вариант — поместить на поверхность заранее распечатанную метку (например, QR-код), которая станет точкой отсчёта. Он применяется в таких библиотеках для работы с компьютерным зрением, как Vuforia и Kudan.

Однако Дробитько понимал, что пользователи не будут тратить время на печать QR-кодов: им нужно предложить такое решение, которое будет работать моментально.

«К тому же многие наверняка хотели бы нарисовать картину и повесить её в рамку — а распечатанный QR-код испортил бы впечатление», — рассуждает предприниматель.

В итоге команда SketchAR написала собственную библиотеку для работы с компьютерным зрением, которая способна распознавать рукописные метки на листе бумаги и строить относительно них координаты для расположения эскиза.

В первой версии приложения пользователю перед началом работы требовалось нарисовать на листе пять кругов — три сверху, один — слева, один — снизу.

Однако затем Дробитько заметил, что пользователи испытывают трудности уже на этом этапе, и круги заменил на крестики.

В ноябре 2018 года в SketchAR появились виртуальные помощники — анимированные персонажи, которые учат рисовать и дают советы.

Для внедрения этой функции команда использовала машинное обучение и нейросети — чтобы приложение не просто «видело», но «понимало», что именно происходит в кадре.

Система училась, анализируя видео пользователей (которые дали на это согласие). Нейросеть оценивала:

Благодаря этим данным помощник может определять процент законченности рисунка, навык пользователя, насколько хорошо он справляется (например, оценивая толщину линии и различия между эскизом и получившимся изображением) и многое другое.

Кроме того, информация о том, в каких условиях рисуют пользователи, позволила увеличить точность расположения эскиза в дополненной реальности.

Благодаря машинному обучению команда SketchAR смогла разработать трекинг объектов в дополненной реальности, для которого не нужны маркеры.

Упрощённо: система проецирует эскиз на ровную поверхность, оценивая оттенки белого, а когда пользователь начинает рисовать — привязывает его к этим линиям.

Для этой технологии разработчики создали нейросеть, которая «вырезает» руку из кадра. То есть в дополненной реальности пользователь её видит, а алгоритм, который отвечает за проекцию изображения, — нет.

В противном случае рука перекрывала бы нарисованные линии, а алгоритмы «забывали», относительно чего проецировать эскиз в дополненной реальности. В результате он скакал бы по всему листку.

Безмаркерный трекинг появится в SketchAR в апреле-мае 2019 года.

По словам Дробитько, у SketchAR около 150–170 тысяч активных пользователей, которых удалось привлечь без расходов на маркетинг и продвижение.

MVP SketchAR было готово к декабрю 2016 года. Команда решила показать возможности продукта и собрать обратную связь от пользователей.

Дробитько снял демовидео, которое «ничего не объясняло», а только намекало на возможность рисовать в дополненной реальности, сделал лендинг и опубликовал информацию о приложении на платформе Product Hunt.

Он не ждал особенного ажиотажа — ему было любопытно протестировать платформу и собрать обратную связь.

После этого с предпринимателем связались корреспонденты американских ИТ-изданий, включая Gizmodo, Fast Company и другие, а также представители 10–15 венчурных фондов.

Получив положительную обратную связь, команда продолжила разработку и весной 2017 года представила первую публичную версию приложения.

После публикаций о SketchAR узнали представители Apple. Они стали приводить приложение в качестве примера использования собственной технологии ARKit, и благодаря этой поддержке количество пользователей также росло.

Сейчас SketchAR сотрудничает с Huawei: компания открыла разработчикам доступ к API своей новой платформы HiAI Foundation, которая (помимо прочего) увеличивает быстродействие смартфонов при распознавании изображений.

По словам Дробитько, он заметил, что скорость работы SketchAR на флагманских устройствах Huawei (P20 и Mate) выросла на 20%, по сравнению с другими Android-смартфонами.

Кроме того, благодаря сотрудничеству стартап бесплатно посещает крупные ИТ-события (вроде прошедшей конференции Mobile World Congress в Барселоне). Это также помогает увеличивать количество пользователей.

Поскольку Дробитько много лет занимается стрит-артом, он знаком со многими современными художниками (например, с Покрасом Лампасом).

Начав разработку приложения, он предложил им стать амбассадорами проекта — то есть они первыми получили возможность использовать AR в работе в обмен на обратную связь.

Кроме того, художники рассказывали о необычном приложении своим подписчикам, что также выливалось в рост количества установок. «Работа с профессиональными художниками — это та история, когда один человек вдохновляет тысячу», — рассуждает Дробитько.

SketchAR зарабатывает благодаря фримиум-модели. В бесплатной версии пользователь может рисовать по контурам готовых эскизов. Чтобы открыть доступ к виртуальному помощнику и системе обучения, необходимо приобрести подписку: она стоит $3,5 в месяц или $15 на всю жизнь.

По данным Дробитько, из 150–170 тысяч активных пользователей подписку приобрели около 2% (от 3-3,5 тысяч человек). Из них 30% пользуются пожизненным тарифом, а 70% — ежемесячным.

Пока что сервис не вышел на окупаемость и компенсирует операционные расходы за счёт инвестиций: «Такие истории самостоятельно не делаются — чтобы никто не думал, что похожий продукт можно сделать в гараже», — рассуждает Дробитько.

Компания продолжает экспериментировать с моделью монетизации. Например, развивает сотрудничество с брендами. В ноябре 2018 года SketchAR провёл мероприятие для французского отделения компании Universal Pictures, посвящённое премьере мультфильма «Гринч».

Во-первых, в приложении появились брендированные эскизы с главными героями картины. Во-вторых, на премьере в Париже компания предложила детям и родителям нарисовать персонажей фильма на специальных стенах с помощью SketchAR и шлема дополненной реальности Microsoft HoloLens.

«Для обычных людей это что-то сверхъестественное — они видят голограмму на стене, обводят её и видят настоящее искусство здесь и сейчас», — рассказывает Дробитько.

Это мероприятие принесло SketchAR €30 тысяч. По словам Дробитько, выход на окупаемость — приоритетная задача для проекта, но гораздо больше его интересует развитие технологии распознавания сложных поверхностей, поскольку её потенциальное применение выходит далеко за пределы творчества и рисования с помощью SketchAR.

Сейчас разработчики устройства готовятся внедрить безмаркерный трекинг: «Это фундаментальная вещь, которая повлияет на всё — выручку, лояльность пользователей, порог входа», — заключает Дробитько.