Стрит-арт-художник создал приложение для рисования при помощи дополненной реальности Статьи редакции

Ему удалось набрать 150 тысяч пользователей без расходов на маркетинг, стать партнёром Huawei и привлечь Покраса Лампаса в качестве амбассадора.

Продукт

SketchAR — приложение, которое учит рисованию с помощью дополненной реальности.

Пользователь выбирает эскиз, который накладывается поверх чистого листа бумаги, а затем обводит линии, пока не получится готовый рисунок.

За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот эту линию стоило бы сделать потолще».

Со временем советы становятся более индивидуальными — наблюдая за руками художника, ассистент «учится» и определяет уровень его навыков.

Кроме того, у SketchAR есть режим для рисования на вертикальных поверхностях. Он предназначен для более удобного переноса готовых рисунков на стену, и в нём нет пошагового сопровождения.

Процесс выглядит так: сперва пользователь выбирает изображение (или фото) на устройстве, и оно преобразуется в эскиз. Затем наводит камеру на участок стены и фиксирует шаблон: линии останутся неподвижными, даже если смартфон перемещать в пространстве.

Рисование на вертикальных поверхностях доступно для устройств, которые поддерживают библиотеку ARKit (iOS) или ARCore (для Android, в прошлом она называлась Google Tango).

  • iPhone от модели 6S и выше, iPad и iPad Pro 2017 и 2018.
  • Huawei P20, P20 Pro, Mate 20 Mate 20 Pro, а также Lenovo Phab 2 Pro или Asus ZenFone AR (как первые прототипы смартфонов, способные работать с дополненной реальностью).
  • Microsoft HoloLens.

Режим рисования на горизонтальных поверхностях поддерживают все современные смартфоны.

Команда

SketchAR — продукт родом из технопарка Вильнюса, но за ним стоит команда с российскими корнями.

Андрей (Adno) Дробитько — дизайнер, стрит-арт-художник и ИТ-предприниматель. В 2008 году он открыл агентство Art Family Group — разрабатывал брендирование, типографику, а позже — интерфейсы для мобильных приложений.

Три года спустя он вместе с партнёрами Александром Данилиным и Антоном Прониным запустил свой первый стартап Kula Tech. Предприниматели развивали платформу, которая адаптировала сайты СМИ для мобильных устройств — вёрстка статей становилась похожей на журнальную, а реклама встраивалась нативно.

Kula Tech прошёл акселерационную программу в бизнес-инкубаторе Farminers и привлёк $150 тысяч. А в 2013 году — $1,5 млн от Farminers и фонда IMI.VC.

В 2014 году платформу использовали 14 изданий, включая российские Maxim, Elle, Marie Claire и английский Burda. По данным РБК, выручка Kula Tech составляла $30 тысяч в месяц, однако компания не приносила прибыль.

В 2015 году Kula Tech пришлось закрыть. Из-за возросших курсов валют многие издания обанкротились, а оставшиеся — сократили рекламные бюджеты. «Поскольку основным источником выручки для нас была реклама, у нас тоже всё благополучно загнулось», — поясняет Дробитько.

Он стал думать, чем заниматься дальше. Вспомнил об идее, над которой размышлял ещё в 2012 году, — создать приложение для стрит-арт-художников, которое помогало бы рисовать с помощью дополненной реальности и упрощало бы процесс.

В то время его остановило то, что смартфоны были недостаточно мощными, чтобы обрабатывать видео с камеры в режиме реального времени.

В 2016 году он предложил своему бывшему партнёру Александру Данилину запустить новый проект — SketchAR. Их поддержал прежний инвестор — фонд IMI.VC, который вложили в проект €150 тысяч под новые условия. Подробности и распределение долей Дробитько не раскрывает.

После закрытия Kula Tech в новую компанию Дробитько перешли 10 из 20 сотрудников, включая Android- и iOS-разработчиков. Однако предприниматель понимал, что этого недостаточно: разработка алгоритмов для компьютерного зрения потребует фундаментальных знаний в области математики.

Он решил найти таких специалистов и столкнулся с проблемой. «Как правило, хорошие квалифицированные исследователи не ищут работу, тем более не ходят по специальным сайтам. Таких людей нет ни на HeadHunter, ни в “Моём Круге”, и HR до них достучаться не могут», — рассуждает сооснователь SketchAR.

Дробитько повезло — он познакомился с одним разработчиком, который занимался исследованиями в области компьютерного зрения и писал кандидатскую работу по этой теме в одном из университетов на юге России.

Он познакомил предпринимателя со своими коллегами по исследовательской группе, и Дробитько предложил молодым учёным присоединиться к проекту. Они разработали ядро системы.

«В SketchAR было больше исследовательской работы, чем разработки».

Разработка SketchAR началась летом 2016 года. Первоначально Дробитько собирался создавать продукт для профессиональных художников, чтобы они могли рисовать эскизы и переносить их на стены.

Александр Данилин (слева) и Андрей Дробитько

Однако после исследования рынка он заметил, что в некоторых странах (например, в Китае, России и Франции) один из самых высокочастотных поисковых запросов — это «научиться рисовать».

Тогда он решил в первую очередь сфокусироваться на массовой аудитории и разработать продукт на стыке онлайн-обучения, искусства и развлечений.

По данным Дробитько, к 2021 году объём рынка дополненной реальности составит до $130 млрд, а рынка онлайн-образования к 2022 году — до $280 млрд.

Технология

Видео с камеры смартфона, которое отображается на экране, — это последовательность из множества статичных кадров.

Чтобы отобразить эскиз рисунка в дополненной реальности на лист бумаги, нужно:

  • Получить входящий видеопоток.
  • Считать с каждого кадра координаты листа бумаги.
  • Обработать координаты и вычислить положение эскиза относительно листа.
  • Наложить эскиз.
  • Всё это в режиме реального времени — то есть алгоритм должен работать настолько быстро, чтобы успеть обработать за секунду 24–30 кадров.

По словам Дробитько, когда команда приступила к разработке ядра, компьютерное зрение было исследовано не очень хорошо.

Библиотека OpenCV, которая использовалась при разработке проектов в сфере дополненной реальности, хорошо определяла лица и распознавала текст, чуть хуже — объекты.

Рисование предполагает, что камера пользователя смотрит на белый лист бумаги — и вот тут алгоритмы компьютерного зрения оказались бессильны: они не могли оценить расстояние до объекта и рассчитать координаты в пространстве.

Представьте, если приложить трубку к глазу и через неё посмотреть на белый лист бумаги, вы никогда не сможете сказать, на каком расстоянии от вас он находится — потому что человеческое зрение оценивает дистанцию до предметов относительно окружения.

То же самое верно и для камеры смартфона — чтобы оценить угол обзора, дальность объекта и все остальные вещи, необходима информация об окружении.

Впрочем, есть альтернативный вариант — поместить на поверхность заранее распечатанную метку (например, QR-код), которая станет точкой отсчёта. Он применяется в таких библиотеках для работы с компьютерным зрением, как Vuforia и Kudan.

Однако Дробитько понимал, что пользователи не будут тратить время на печать QR-кодов: им нужно предложить такое решение, которое будет работать моментально.

«К тому же многие наверняка хотели бы нарисовать картину и повесить её в рамку — а распечатанный QR-код испортил бы впечатление», — рассуждает предприниматель.

В итоге команда SketchAR написала собственную библиотеку для работы с компьютерным зрением, которая способна распознавать рукописные метки на листе бумаги и строить относительно них координаты для расположения эскиза.

В первой версии приложения пользователю перед началом работы требовалось нарисовать на листе пять кругов — три сверху, один — слева, один — снизу.

Однако затем Дробитько заметил, что пользователи испытывают трудности уже на этом этапе, и круги заменил на крестики.

В ноябре 2018 года в SketchAR появились виртуальные помощники — анимированные персонажи, которые учат рисовать и дают советы.

Для внедрения этой функции команда использовала машинное обучение и нейросети — чтобы приложение не просто «видело», но «понимало», что именно происходит в кадре.

Система училась, анализируя видео пользователей (которые дали на это согласие). Нейросеть оценивала:

  • как именно рисуют люди;
  • на какой бумаге;
  • при каком освещении;
  • как они держат карандаш;
  • есть ли в кадре посторонние предметы и так далее.

Благодаря этим данным помощник может определять процент законченности рисунка, навык пользователя, насколько хорошо он справляется (например, оценивая толщину линии и различия между эскизом и получившимся изображением) и многое другое.

Кроме того, информация о том, в каких условиях рисуют пользователи, позволила увеличить точность расположения эскиза в дополненной реальности.

Мы можем отличить десятки и сотни видов столов, мы знаем, на какой бумаге рисуют люди, сколько и какие предметы могут быть на столе, как они держат карандаш и так далее

Мы могли бы учить нейросеть «в парниковых условиях», где на кадрах хорошее освещение и идеально ровная бумага. Но на самом деле люди рисуют под лампами на мятой бумаге и с бардаком на столе.

Это одна из ценностей нашего продукта: если кто-то из конкурентов захочет его скопировать, им придётся потратить такое же количество времени, потому что обучение — длительный и линейный процесс.

Благодаря машинному обучению команда SketchAR смогла разработать трекинг объектов в дополненной реальности, для которого не нужны маркеры.

Упрощённо: система проецирует эскиз на ровную поверхность, оценивая оттенки белого, а когда пользователь начинает рисовать — привязывает его к этим линиям.

Изображение не «скачет», даже если в объективе нет никаких объектов, кроме белого листа бумаги, а также при тусклом освещении

Для этой технологии разработчики создали нейросеть, которая «вырезает» руку из кадра. То есть в дополненной реальности пользователь её видит, а алгоритм, который отвечает за проекцию изображения, — нет.

В противном случае рука перекрывала бы нарисованные линии, а алгоритмы «забывали», относительно чего проецировать эскиз в дополненной реальности. В результате он скакал бы по всему листку.

Благодаря технологии безмаркерного трекинга эскиз лягушки остаётся стабильным, хотя художник перекрывает до 60% поверхности. При этом приложение не использует библиотеки ARKit и ARCore

Безмаркерный трекинг появится в SketchAR в апреле-мае 2019 года.

Продвижение

По словам Дробитько, у SketchAR около 150–170 тысяч активных пользователей, которых удалось привлечь без расходов на маркетинг и продвижение.

MVP SketchAR было готово к декабрю 2016 года. Команда решила показать возможности продукта и собрать обратную связь от пользователей.

Мы понимали, что выпустим приложение, которое не будет полностью готово. Но помнили про первое правило стартапа — если ты запустился и у тебя всё работает, то ты запустился слишком поздно.

Дробитько снял демовидео, которое «ничего не объясняло», а только намекало на возможность рисовать в дополненной реальности, сделал лендинг и опубликовал информацию о приложении на платформе Product Hunt.

Он не ждал особенного ажиотажа — ему было любопытно протестировать платформу и собрать обратную связь.

Вечером я всё это проделал и спокойно лёг спать. А потом проснулся посреди ночи от звука уведомлений.

В ту ночь к нам зашли на сайт и подписались около 5000 человек, и мы собрали первые 800 голосов на Product Hunt. В тот момент я, конечно, мягко говоря, удивился — ведь реальный запуск планировался только через четыре месяца.

Мы взлетели, стали продуктом дня на Product Hunt, а потом — заняли второе место в номинации «Лучшие AR-приложения года».

После этого с предпринимателем связались корреспонденты американских ИТ-изданий, включая Gizmodo, Fast Company и другие, а также представители 10–15 венчурных фондов.

Получив положительную обратную связь, команда продолжила разработку и весной 2017 года представила первую публичную версию приложения.

После публикаций о SketchAR узнали представители Apple. Они стали приводить приложение в качестве примера использования собственной технологии ARKit, и благодаря этой поддержке количество пользователей также росло.

Сейчас SketchAR сотрудничает с Huawei: компания открыла разработчикам доступ к API своей новой платформы HiAI Foundation, которая (помимо прочего) увеличивает быстродействие смартфонов при распознавании изображений.

По словам Дробитько, он заметил, что скорость работы SketchAR на флагманских устройствах Huawei (P20 и Mate) выросла на 20%, по сравнению с другими Android-смартфонами.

Кроме того, благодаря сотрудничеству стартап бесплатно посещает крупные ИТ-события (вроде прошедшей конференции Mobile World Congress в Барселоне). Это также помогает увеличивать количество пользователей.

Поскольку Дробитько много лет занимается стрит-артом, он знаком со многими современными художниками (например, с Покрасом Лампасом).

Начав разработку приложения, он предложил им стать амбассадорами проекта — то есть они первыми получили возможность использовать AR в работе в обмен на обратную связь.

Кроме того, художники рассказывали о необычном приложении своим подписчикам, что также выливалось в рост количества установок. «Работа с профессиональными художниками — это та история, когда один человек вдохновляет тысячу», — рассуждает Дробитько.

Монетизация

SketchAR зарабатывает благодаря фримиум-модели. В бесплатной версии пользователь может рисовать по контурам готовых эскизов. Чтобы открыть доступ к виртуальному помощнику и системе обучения, необходимо приобрести подписку: она стоит $3,5 в месяц или $15 на всю жизнь.

По данным Дробитько, из 150–170 тысяч активных пользователей подписку приобрели около 2% (от 3-3,5 тысяч человек). Из них 30% пользуются пожизненным тарифом, а 70% — ежемесячным.

Пока что сервис не вышел на окупаемость и компенсирует операционные расходы за счёт инвестиций: «Такие истории самостоятельно не делаются — чтобы никто не думал, что похожий продукт можно сделать в гараже», — рассуждает Дробитько.

Компания продолжает экспериментировать с моделью монетизации. Например, развивает сотрудничество с брендами. В ноябре 2018 года SketchAR провёл мероприятие для французского отделения компании Universal Pictures, посвящённое премьере мультфильма «Гринч».

Во-первых, в приложении появились брендированные эскизы с главными героями картины. Во-вторых, на премьере в Париже компания предложила детям и родителям нарисовать персонажей фильма на специальных стенах с помощью SketchAR и шлема дополненной реальности Microsoft HoloLens.

«Для обычных людей это что-то сверхъестественное — они видят голограмму на стене, обводят её и видят настоящее искусство здесь и сейчас», — рассказывает Дробитько.

Это мероприятие принесло SketchAR €30 тысяч. По словам Дробитько, выход на окупаемость — приоритетная задача для проекта, но гораздо больше его интересует развитие технологии распознавания сложных поверхностей, поскольку её потенциальное применение выходит далеко за пределы творчества и рисования с помощью SketchAR.

Сейчас разработчики устройства готовятся внедрить безмаркерный трекинг: «Это фундаментальная вещь, которая повлияет на всё — выручку, лояльность пользователей, порог входа», — заключает Дробитько.

Мнение эксперта

SketchAR — хороший пример реализации простой и понятной идеи с помощью AR. Но для этого нужна определённая сноровка, так как поначалу это очень непривычно — одной рукой держать смартфон, а второй рисовать, смотря через экран телефона.

Возможно, специальная насадка на камеру и стенд для телефона, как у проекта Osmo, сильно бы улучшили опыт взаимодействия с приложением.

Максим Козлов, руководитель AR- и VR-лаборатории «Сбербанка»
0
43 комментария
Написать комментарий...
Kirill Pavlov

Это обалденно!

Ответить
Развернуть ветку
Сергей Ant

хм.. а ведь технология интересна для любого обучения :-))). главное освободить руки. можно учить, хирургов :-))), дантистов, класть кирпич, парихмакера, массажиста и т..д.. это то что на вскидку пришло.

Ответить
Развернуть ветку
Denis Bystruev

Наконец-то увидел, для чего может быть полезен HoloLens

Ответить
Развернуть ветку
Im Confirmer

На мой взгляд у AR нет будущего. А что касается SketchAR, то это аналог работы обычного проектора + немного плюшек. Очевидно, что подобные технологии хорошо будут применяться в VR. А вообще, талант развивать куда круче без подсказок, ведь он же талант)))

Ответить
Развернуть ветку
Aleksandr Ostrenko

"640 килобайт должно хватить всем"

Ответить
Развернуть ветку
Denis Bystruev

AR только начинается.

Надо победить «детские болезни» (неумение распознавать и «вырезать» предметы со сцены, ненадёжность трекинга, «срывы» при смене освещения).

Когда очки станут дешевле телефонов, AR станет массовым.

Когда появятся недорогие AR-линзы, поменяется всё.

Люди вместо ремонта будут оставлять белые стены — зачем мучиться, есть AR.

Вместо макияжа и тату — AR.

Вместо рекламы и вывесок — AR.

Без AR вы не сможете прожить в большом городе полноценно — как сейчас без смартфона неудобно заказывать такси или доставку еды.

Ответить
Развернуть ветку
Roman Mitsengendler
Без AR вы не сможете прожить в большом городе полноценно — как сейчас без смартфона неудобно заказывать такси или доставку еды

А что, в больших городах уже нет общественного транспорта и магазинов? Бедные жители Москвы вынуждены заказывать доставку хавчика из Рязани, а иначе их будут считать неполноценными?

Люди вместо ремонта будут оставлять белые стены — зачем мучиться, есть AR.
Вместо макияжа и тату — AR.
Вместо рекламы и вывесок — AR.

Вместо раздолбанных дорог - автобаны. Вместо разрушенных хрущевок - небоскребы из стекла и бетона. Вместо хлеба и воды - фуа-гра и черная икра. Вместо плакатов Навального - плакаты Единой России.

Ответить
Развернуть ветку
Denis Bystruev

На 🚌 уже сейчас тяжело без Яндекс.Транспорта. И каршер без телефона не забронируешь.

Ух, вы прямо сюжет для нового Оруэлла подсказали.

Видимость важнее реальности. Дома красят со стороны проезда кортежа. Дороги асфальтируют по пути следования начальства. Газоны расстилают, фотографируют, потом сворачивают и везут дальше.

Или подождите...

Ответить
Развернуть ветку
Andrey Tsyganok

волшебник изумрудного города напомнило ) про ар вместо ремонта )

Ответить
Развернуть ветку
Andrey Drobitko

Поэтому мы видим, что проекторы у каждого в кармане как и смартфон.

Ответить
Развернуть ветку
Вадим Филиппов

Т.е. ни учителей, ни книг, ни даже чужих работ для таланта не надо? :) Ой, как Вы заблудились

Ответить
Развернуть ветку
Im Confirmer

Ну по-разному))) я не настаиваю)

Ответить
Развернуть ветку
Denis Bystruev

Думаю, Apple обязан их купить. Синергия с ARKit и расширение AR в сторону обучения.

Ответить
Развернуть ветку
Eugene Gultyaev

Это чертов космос!

Ответить
Развернуть ветку
Александр Рой

Прочтя, почему то подумал про доктора, который держит в одной руке смартфон и осматривает пациента. Наверное пойду запишу идею.

Ответить
Развернуть ветку
Aleksandr Ostrenko

"Осматривает" ещё ладно, по аналогии с рисованием он скальпелем по линиям резать должен.

Ответить
Развернуть ветку
ivan krapivin

За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот этот шов стоило бы сделать потоньше».

Ответить
Развернуть ветку
Никита Евдокимов
Автор

Можно сразу представить доктора в HoloLens :)

Ответить
Развернуть ветку
Denis Bystruev

Либо покупает за 600 ₽ что-то типа такого: https://m.habr.com/ru/post/389481/

Ответить
Развернуть ветку
Natasha Floksy

Очень много любопытных фактов, спасибо большое за статью.
Отличный пример использования AR =)

Ответить
Развернуть ветку
Alexander Burtsev

Можно ли добавить поддержку этой штуки? Тогда было бы чуточку удобнее

Ответить
Развернуть ветку
Andrey Drobitko

с ними очень много проблем: необходимость разделения экрана на два, что влечёт падение FPS, как следствие задержка кадра на которой вы видите свою руку с задержкой. Так себе опыт

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Momano Momano

Почему-то это выражение уже раздражает. Вставляют куда ни попадя.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Masha Mashina

Может станет больше самобытных и уникальных райтеров ,способных облагородить тусклые и запыленные стены наших домов.

Ответить
Развернуть ветку
Konstantin Smirnov

Покраска Лампаса в качестве амбассадора! Черт, я прям ниц упал три раза. Ну надо же!

Ответить
Развернуть ветку
stikerman

Посмотрел отзывы и рейтинг, халявщики охренели

Ответить
Развернуть ветку
Alisa Art

Круто!

Ответить
Развернуть ветку
Дмитрий Панин

Андрюх, процветания вам! Только андроид допилити пажалуйста

Ответить
Развернуть ветку
Andrey Drobitko

Работаем над этим 24/7;)

Ответить
Развернуть ветку
Сергей Герасименко

Идея очень крутая) надеюсь, в течении 3-5 лет количество смартфонов, с помощью которых можно будет рисовать так, возрастёт) это же сколько людей смогут осуществить свою маленькую мечту-научиться рисовать)

Ответить
Развернуть ветку
Дмитрий Новиков

Держать одной рукой телефон, а другой рисовать? Серьёзно?

Ответить
Развернуть ветку
Denis Bystruev

Именно так Microsoft и продаёт HoloLens.

Ответить
Развернуть ветку
Андрей Тишкин

Батарею сильно жрёт? Долго ли можно так сидеть рисовать?

Ответить
Развернуть ветку
Andrey Drobitko

Первые версии приложения на CPU ели сильно. Сегодня когда большая часть процессов на GPU –ест батарею меньше. К примеру, на недавней MWC демонстрационного Huawei Mate20Pro хватало с 9-ти утра до 19, практически не выключая. У меня iPhone X и увы, он таких нагрузок не выдерживает.

Ответить
Развернуть ветку
Валерий Бабанин

ARCore и Tango - разные вещи в принципе. Устройств с последним очень мало, и у Huawei нет вообще. Для рисования на больших поверхностях нужны именно устройства с Tango, а не ARCore.
Так что, можно сказать, на Android только формат A4/A5, если верить описанию приложения в Google Play.

Ответить
Развернуть ветку
Andrey Drobitko

Принцип один и тот же, только в случае с Танго пространство распознавалось с помощью датчиков глубины, а не чистым SLAM. Первым дев. кит планшет, а далее в Леново и Асус. Не удивительно, что позже команда разработчиков Танго перешла делать ARcore. Поэтому рисование на стенах сейчас доступно на смартфонах с ARCore(Huawei, вскоре и на всех с ARCore).

Ответить
Развернуть ветку
Валерий Бабанин

Т.е. нужно верить вам, а не офф описанию приложения?
Я так понимаю, вы имеете отношение к этому приложению и описание просто не совсем актуально?

Ответить
Развернуть ветку
Andrey Drobitko

Не актуально. Поправим.

Ответить
Развернуть ветку
Макс Мухарёв

Любопытно узнать как нашли того самого специалиста по компьютерному зрению. Чем его заинтересовали на начальном этапе? )

Ответить
Развернуть ветку
Andrey Drobitko

Увлекли Вызовами. Исследовать области, где не было решений это увлекательно, но рискованно.

Ответить
Развернуть ветку
Александр Александр

технологически прикольно, а где оно применяться будет?

Ответить
Развернуть ветку
Дмитрий Симбуров

Поставил приложение - и удалил. Ужасно работает

Ответить
Развернуть ветку
Eugene Vaschuk

Идея отличная, реализация отстойная.
Постоянная потеря трекинга и задержка отображения движений карандаша.

Ответить
Развернуть ветку
40 комментариев
Раскрывать всегда