Стрит-арт-художник создал приложение для рисования при помощи дополненной реальности Статьи редакции
Ему удалось набрать 150 тысяч пользователей без расходов на маркетинг, стать партнёром Huawei и привлечь Покраса Лампаса в качестве амбассадора.
Продукт
SketchAR — приложение, которое учит рисованию с помощью дополненной реальности.
Пользователь выбирает эскиз, который накладывается поверх чистого листа бумаги, а затем обводит линии, пока не получится готовый рисунок.
За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот эту линию стоило бы сделать потолще».
Со временем советы становятся более индивидуальными — наблюдая за руками художника, ассистент «учится» и определяет уровень его навыков.
Кроме того, у SketchAR есть режим для рисования на вертикальных поверхностях. Он предназначен для более удобного переноса готовых рисунков на стену, и в нём нет пошагового сопровождения.
Процесс выглядит так: сперва пользователь выбирает изображение (или фото) на устройстве, и оно преобразуется в эскиз. Затем наводит камеру на участок стены и фиксирует шаблон: линии останутся неподвижными, даже если смартфон перемещать в пространстве.
Рисование на вертикальных поверхностях доступно для устройств, которые поддерживают библиотеку ARKit (iOS) или ARCore (для Android, в прошлом она называлась Google Tango).
- iPhone от модели 6S и выше, iPad и iPad Pro 2017 и 2018.
- Huawei P20, P20 Pro, Mate 20 Mate 20 Pro, а также Lenovo Phab 2 Pro или Asus ZenFone AR (как первые прототипы смартфонов, способные работать с дополненной реальностью).
- Microsoft HoloLens.
Режим рисования на горизонтальных поверхностях поддерживают все современные смартфоны.
Команда
SketchAR — продукт родом из технопарка Вильнюса, но за ним стоит команда с российскими корнями.
Андрей (Adno) Дробитько — дизайнер, стрит-арт-художник и ИТ-предприниматель. В 2008 году он открыл агентство Art Family Group — разрабатывал брендирование, типографику, а позже — интерфейсы для мобильных приложений.
Три года спустя он вместе с партнёрами Александром Данилиным и Антоном Прониным запустил свой первый стартап Kula Tech. Предприниматели развивали платформу, которая адаптировала сайты СМИ для мобильных устройств — вёрстка статей становилась похожей на журнальную, а реклама встраивалась нативно.
Kula Tech прошёл акселерационную программу в бизнес-инкубаторе Farminers и привлёк $150 тысяч. А в 2013 году — $1,5 млн от Farminers и фонда IMI.VC.
В 2014 году платформу использовали 14 изданий, включая российские Maxim, Elle, Marie Claire и английский Burda. По данным РБК, выручка Kula Tech составляла $30 тысяч в месяц, однако компания не приносила прибыль.
В 2015 году Kula Tech пришлось закрыть. Из-за возросших курсов валют многие издания обанкротились, а оставшиеся — сократили рекламные бюджеты. «Поскольку основным источником выручки для нас была реклама, у нас тоже всё благополучно загнулось», — поясняет Дробитько.
Он стал думать, чем заниматься дальше. Вспомнил об идее, над которой размышлял ещё в 2012 году, — создать приложение для стрит-арт-художников, которое помогало бы рисовать с помощью дополненной реальности и упрощало бы процесс.
В то время его остановило то, что смартфоны были недостаточно мощными, чтобы обрабатывать видео с камеры в режиме реального времени.
В 2016 году он предложил своему бывшему партнёру Александру Данилину запустить новый проект — SketchAR. Их поддержал прежний инвестор — фонд IMI.VC, который вложили в проект €150 тысяч под новые условия. Подробности и распределение долей Дробитько не раскрывает.
После закрытия Kula Tech в новую компанию Дробитько перешли 10 из 20 сотрудников, включая Android- и iOS-разработчиков. Однако предприниматель понимал, что этого недостаточно: разработка алгоритмов для компьютерного зрения потребует фундаментальных знаний в области математики.
Он решил найти таких специалистов и столкнулся с проблемой. «Как правило, хорошие квалифицированные исследователи не ищут работу, тем более не ходят по специальным сайтам. Таких людей нет ни на HeadHunter, ни в “Моём Круге”, и HR до них достучаться не могут», — рассуждает сооснователь SketchAR.
Дробитько повезло — он познакомился с одним разработчиком, который занимался исследованиями в области компьютерного зрения и писал кандидатскую работу по этой теме в одном из университетов на юге России.
Он познакомил предпринимателя со своими коллегами по исследовательской группе, и Дробитько предложил молодым учёным присоединиться к проекту. Они разработали ядро системы.
Разработка SketchAR началась летом 2016 года. Первоначально Дробитько собирался создавать продукт для профессиональных художников, чтобы они могли рисовать эскизы и переносить их на стены.
Однако после исследования рынка он заметил, что в некоторых странах (например, в Китае, России и Франции) один из самых высокочастотных поисковых запросов — это «научиться рисовать».
Тогда он решил в первую очередь сфокусироваться на массовой аудитории и разработать продукт на стыке онлайн-обучения, искусства и развлечений.
По данным Дробитько, к 2021 году объём рынка дополненной реальности составит до $130 млрд, а рынка онлайн-образования к 2022 году — до $280 млрд.
Технология
Видео с камеры смартфона, которое отображается на экране, — это последовательность из множества статичных кадров.
Чтобы отобразить эскиз рисунка в дополненной реальности на лист бумаги, нужно:
- Получить входящий видеопоток.
- Считать с каждого кадра координаты листа бумаги.
- Обработать координаты и вычислить положение эскиза относительно листа.
- Наложить эскиз.
- Всё это в режиме реального времени — то есть алгоритм должен работать настолько быстро, чтобы успеть обработать за секунду 24–30 кадров.
По словам Дробитько, когда команда приступила к разработке ядра, компьютерное зрение было исследовано не очень хорошо.
Библиотека OpenCV, которая использовалась при разработке проектов в сфере дополненной реальности, хорошо определяла лица и распознавала текст, чуть хуже — объекты.
Рисование предполагает, что камера пользователя смотрит на белый лист бумаги — и вот тут алгоритмы компьютерного зрения оказались бессильны: они не могли оценить расстояние до объекта и рассчитать координаты в пространстве.
Впрочем, есть альтернативный вариант — поместить на поверхность заранее распечатанную метку (например, QR-код), которая станет точкой отсчёта. Он применяется в таких библиотеках для работы с компьютерным зрением, как Vuforia и Kudan.
Однако Дробитько понимал, что пользователи не будут тратить время на печать QR-кодов: им нужно предложить такое решение, которое будет работать моментально.
«К тому же многие наверняка хотели бы нарисовать картину и повесить её в рамку — а распечатанный QR-код испортил бы впечатление», — рассуждает предприниматель.
В итоге команда SketchAR написала собственную библиотеку для работы с компьютерным зрением, которая способна распознавать рукописные метки на листе бумаги и строить относительно них координаты для расположения эскиза.
В первой версии приложения пользователю перед началом работы требовалось нарисовать на листе пять кругов — три сверху, один — слева, один — снизу.
Однако затем Дробитько заметил, что пользователи испытывают трудности уже на этом этапе, и круги заменил на крестики.
В ноябре 2018 года в SketchAR появились виртуальные помощники — анимированные персонажи, которые учат рисовать и дают советы.
Для внедрения этой функции команда использовала машинное обучение и нейросети — чтобы приложение не просто «видело», но «понимало», что именно происходит в кадре.
Система училась, анализируя видео пользователей (которые дали на это согласие). Нейросеть оценивала:
- как именно рисуют люди;
- на какой бумаге;
- при каком освещении;
- как они держат карандаш;
- есть ли в кадре посторонние предметы и так далее.
Благодаря этим данным помощник может определять процент законченности рисунка, навык пользователя, насколько хорошо он справляется (например, оценивая толщину линии и различия между эскизом и получившимся изображением) и многое другое.
Кроме того, информация о том, в каких условиях рисуют пользователи, позволила увеличить точность расположения эскиза в дополненной реальности.
Благодаря машинному обучению команда SketchAR смогла разработать трекинг объектов в дополненной реальности, для которого не нужны маркеры.
Упрощённо: система проецирует эскиз на ровную поверхность, оценивая оттенки белого, а когда пользователь начинает рисовать — привязывает его к этим линиям.
Для этой технологии разработчики создали нейросеть, которая «вырезает» руку из кадра. То есть в дополненной реальности пользователь её видит, а алгоритм, который отвечает за проекцию изображения, — нет.
В противном случае рука перекрывала бы нарисованные линии, а алгоритмы «забывали», относительно чего проецировать эскиз в дополненной реальности. В результате он скакал бы по всему листку.
Безмаркерный трекинг появится в SketchAR в апреле-мае 2019 года.
Продвижение
По словам Дробитько, у SketchAR около 150–170 тысяч активных пользователей, которых удалось привлечь без расходов на маркетинг и продвижение.
MVP SketchAR было готово к декабрю 2016 года. Команда решила показать возможности продукта и собрать обратную связь от пользователей.
Дробитько снял демовидео, которое «ничего не объясняло», а только намекало на возможность рисовать в дополненной реальности, сделал лендинг и опубликовал информацию о приложении на платформе Product Hunt.
Он не ждал особенного ажиотажа — ему было любопытно протестировать платформу и собрать обратную связь.
После этого с предпринимателем связались корреспонденты американских ИТ-изданий, включая Gizmodo, Fast Company и другие, а также представители 10–15 венчурных фондов.
Получив положительную обратную связь, команда продолжила разработку и весной 2017 года представила первую публичную версию приложения.
После публикаций о SketchAR узнали представители Apple. Они стали приводить приложение в качестве примера использования собственной технологии ARKit, и благодаря этой поддержке количество пользователей также росло.
Сейчас SketchAR сотрудничает с Huawei: компания открыла разработчикам доступ к API своей новой платформы HiAI Foundation, которая (помимо прочего) увеличивает быстродействие смартфонов при распознавании изображений.
По словам Дробитько, он заметил, что скорость работы SketchAR на флагманских устройствах Huawei (P20 и Mate) выросла на 20%, по сравнению с другими Android-смартфонами.
Кроме того, благодаря сотрудничеству стартап бесплатно посещает крупные ИТ-события (вроде прошедшей конференции Mobile World Congress в Барселоне). Это также помогает увеличивать количество пользователей.
Поскольку Дробитько много лет занимается стрит-артом, он знаком со многими современными художниками (например, с Покрасом Лампасом).
Начав разработку приложения, он предложил им стать амбассадорами проекта — то есть они первыми получили возможность использовать AR в работе в обмен на обратную связь.
Кроме того, художники рассказывали о необычном приложении своим подписчикам, что также выливалось в рост количества установок. «Работа с профессиональными художниками — это та история, когда один человек вдохновляет тысячу», — рассуждает Дробитько.
Монетизация
SketchAR зарабатывает благодаря фримиум-модели. В бесплатной версии пользователь может рисовать по контурам готовых эскизов. Чтобы открыть доступ к виртуальному помощнику и системе обучения, необходимо приобрести подписку: она стоит $3,5 в месяц или $15 на всю жизнь.
По данным Дробитько, из 150–170 тысяч активных пользователей подписку приобрели около 2% (от 3-3,5 тысяч человек). Из них 30% пользуются пожизненным тарифом, а 70% — ежемесячным.
Пока что сервис не вышел на окупаемость и компенсирует операционные расходы за счёт инвестиций: «Такие истории самостоятельно не делаются — чтобы никто не думал, что похожий продукт можно сделать в гараже», — рассуждает Дробитько.
Компания продолжает экспериментировать с моделью монетизации. Например, развивает сотрудничество с брендами. В ноябре 2018 года SketchAR провёл мероприятие для французского отделения компании Universal Pictures, посвящённое премьере мультфильма «Гринч».
Во-первых, в приложении появились брендированные эскизы с главными героями картины. Во-вторых, на премьере в Париже компания предложила детям и родителям нарисовать персонажей фильма на специальных стенах с помощью SketchAR и шлема дополненной реальности Microsoft HoloLens.
«Для обычных людей это что-то сверхъестественное — они видят голограмму на стене, обводят её и видят настоящее искусство здесь и сейчас», — рассказывает Дробитько.
Это мероприятие принесло SketchAR €30 тысяч. По словам Дробитько, выход на окупаемость — приоритетная задача для проекта, но гораздо больше его интересует развитие технологии распознавания сложных поверхностей, поскольку её потенциальное применение выходит далеко за пределы творчества и рисования с помощью SketchAR.
Сейчас разработчики устройства готовятся внедрить безмаркерный трекинг: «Это фундаментальная вещь, которая повлияет на всё — выручку, лояльность пользователей, порог входа», — заключает Дробитько.
Это обалденно!
хм.. а ведь технология интересна для любого обучения :-))). главное освободить руки. можно учить, хирургов :-))), дантистов, класть кирпич, парихмакера, массажиста и т..д.. это то что на вскидку пришло.
Наконец-то увидел, для чего может быть полезен HoloLens
На мой взгляд у AR нет будущего. А что касается SketchAR, то это аналог работы обычного проектора + немного плюшек. Очевидно, что подобные технологии хорошо будут применяться в VR. А вообще, талант развивать куда круче без подсказок, ведь он же талант)))
"640 килобайт должно хватить всем"
AR только начинается.
Надо победить «детские болезни» (неумение распознавать и «вырезать» предметы со сцены, ненадёжность трекинга, «срывы» при смене освещения).
Когда очки станут дешевле телефонов, AR станет массовым.
Когда появятся недорогие AR-линзы, поменяется всё.
Люди вместо ремонта будут оставлять белые стены — зачем мучиться, есть AR.
Вместо макияжа и тату — AR.
Вместо рекламы и вывесок — AR.
Без AR вы не сможете прожить в большом городе полноценно — как сейчас без смартфона неудобно заказывать такси или доставку еды.
А что, в больших городах уже нет общественного транспорта и магазинов? Бедные жители Москвы вынуждены заказывать доставку хавчика из Рязани, а иначе их будут считать неполноценными?
Люди вместо ремонта будут оставлять белые стены — зачем мучиться, есть AR.Вместо макияжа и тату — AR.
Вместо рекламы и вывесок — AR.
Вместо раздолбанных дорог - автобаны. Вместо разрушенных хрущевок - небоскребы из стекла и бетона. Вместо хлеба и воды - фуа-гра и черная икра. Вместо плакатов Навального - плакаты Единой России.
На 🚌 уже сейчас тяжело без Яндекс.Транспорта. И каршер без телефона не забронируешь.
Ух, вы прямо сюжет для нового Оруэлла подсказали.
Видимость важнее реальности. Дома красят со стороны проезда кортежа. Дороги асфальтируют по пути следования начальства. Газоны расстилают, фотографируют, потом сворачивают и везут дальше.
Или подождите...
волшебник изумрудного города напомнило ) про ар вместо ремонта )
Поэтому мы видим, что проекторы у каждого в кармане как и смартфон.
Т.е. ни учителей, ни книг, ни даже чужих работ для таланта не надо? :) Ой, как Вы заблудились
Ну по-разному))) я не настаиваю)
Думаю, Apple обязан их купить. Синергия с ARKit и расширение AR в сторону обучения.
Это чертов космос!
Прочтя, почему то подумал про доктора, который держит в одной руке смартфон и осматривает пациента. Наверное пойду запишу идею.
"Осматривает" ещё ладно, по аналогии с рисованием он скальпелем по линиям резать должен.
За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот этот шов стоило бы сделать потоньше».
Можно сразу представить доктора в HoloLens :)
Либо покупает за 600 ₽ что-то типа такого: https://m.habr.com/ru/post/389481/
Очень много любопытных фактов, спасибо большое за статью.
Отличный пример использования AR =)
Можно ли добавить поддержку этой штуки? Тогда было бы чуточку удобнее
с ними очень много проблем: необходимость разделения экрана на два, что влечёт падение FPS, как следствие задержка кадра на которой вы видите свою руку с задержкой. Так себе опыт
Комментарий удален модератором
Почему-то это выражение уже раздражает. Вставляют куда ни попадя.
Комментарий удален модератором
Может станет больше самобытных и уникальных райтеров ,способных облагородить тусклые и запыленные стены наших домов.
Покраска Лампаса в качестве амбассадора! Черт, я прям ниц упал три раза. Ну надо же!
Посмотрел отзывы и рейтинг, халявщики охренели
Круто!
Андрюх, процветания вам! Только андроид допилити пажалуйста
Работаем над этим 24/7;)
Идея очень крутая) надеюсь, в течении 3-5 лет количество смартфонов, с помощью которых можно будет рисовать так, возрастёт) это же сколько людей смогут осуществить свою маленькую мечту-научиться рисовать)
Держать одной рукой телефон, а другой рисовать? Серьёзно?
Именно так Microsoft и продаёт HoloLens.
Батарею сильно жрёт? Долго ли можно так сидеть рисовать?
Первые версии приложения на CPU ели сильно. Сегодня когда большая часть процессов на GPU –ест батарею меньше. К примеру, на недавней MWC демонстрационного Huawei Mate20Pro хватало с 9-ти утра до 19, практически не выключая. У меня iPhone X и увы, он таких нагрузок не выдерживает.
ARCore и Tango - разные вещи в принципе. Устройств с последним очень мало, и у Huawei нет вообще. Для рисования на больших поверхностях нужны именно устройства с Tango, а не ARCore.
Так что, можно сказать, на Android только формат A4/A5, если верить описанию приложения в Google Play.
Принцип один и тот же, только в случае с Танго пространство распознавалось с помощью датчиков глубины, а не чистым SLAM. Первым дев. кит планшет, а далее в Леново и Асус. Не удивительно, что позже команда разработчиков Танго перешла делать ARcore. Поэтому рисование на стенах сейчас доступно на смартфонах с ARCore(Huawei, вскоре и на всех с ARCore).
Т.е. нужно верить вам, а не офф описанию приложения?
Я так понимаю, вы имеете отношение к этому приложению и описание просто не совсем актуально?
Не актуально. Поправим.
Любопытно узнать как нашли того самого специалиста по компьютерному зрению. Чем его заинтересовали на начальном этапе? )
Увлекли Вызовами. Исследовать области, где не было решений это увлекательно, но рискованно.
технологически прикольно, а где оно применяться будет?
Поставил приложение - и удалил. Ужасно работает
Идея отличная, реализация отстойная.
Постоянная потеря трекинга и задержка отображения движений карандаша.