Как это — заниматься дополненной реальностью в России

Драйв, боль, слезы и «новый интернет».

Привет! С вами Артем Харитонов — основатель GORA Studio. Мы занимаемся дополненной реальностью (Augmented Reality, AR): разрабатываем AR-приложения и даже сделали инструмент, которым пользуются другие AR-разработчики во всем мире. Недавно на VC был рассказ о глобальных мировых достижениях в сфере дополненной реальности. А я расскажу, как это — делать AR-проекты в России.

Вместо предисловия: что происходит на рынке AR

Аналитики говорят, что рынок AR за 4 года вырастет в 11 раз, и это согласуется с моими ощущениями. Всего полтора года назад всех ограничивали технологии: чтобы полноценно пользоваться AR-приложениями, нужны были очки вроде Magic Leap. Они дорогие, тяжелые, "не для жизни" и сводят с ума вестибулярку, поэтому не зашли.

Но с конца 2018 года на рынок хлынули мощные смартфоны, способные легко работать с AR-объектами — например, добавлять их прямо в браузер. Таких смартфонов уже больше ста, и в жизнь обычных людей приходит всё больше AR-возможностей. Google выкатывает AR-навигацию в Google Maps, YouTube позволяет нанести AR-макияж из роликов бьюти-блогеров, а наши русские ребята из Faradise сделали платформу, чтобы примерить мебель к квартире перед покупкой и рассчитать материалы для ремонта.

Чем больше людей покупают современные смартфоны, тем быстрее растет потребление AR-приложений. Gartner говорит, что в следующем году с помощью AR будут делать покупки 100 миллионов человек — не буду спорить с экспертами :) Но прямо сейчас всё только начинается.

Главный вопрос жизни, вселенной и всего такого

Когда стоишь у истоков, главный вопрос — куда идти. Для нас это значит: "Каким AR-фреймворком будем усиленно заниматься?". Опций две: ARKit / ARCore или Unity / Vuforia.

ARKit от Apple и ARCore от Google — это нативные средства разработки AR-приложений. Чтобы делать приложения с их помощью, достаточно технической базы в виде Swift и JAVA (и еще нужна тонна дополнительных знаний, но об этом ниже).

Они решают фундаментальные задачи: отслеживают движение смартфона и положение в пространстве, определяют размеры и положение окружающих предметов, освещенность и многие другие параметры, а также считывают геолокацию.

​Приложение Just a Line на ARCore

Unity или Vuforia— AR-платформы на базе игрового движка, которая, впрочем, умеет использовать ARKit и ARCore (незабвенный Pokemon GO сделан как раз на Unity) для базового поиска поверхности и ориентации в пространстве. Без знаний C # не разгуляешься. Прочие варианты, вроде Unreal, уже непопулярны.

Перепробовав всё это, мы остановились на ARKit и ARCore. Сделали ставку на то, что Google и Apple не забросят AR и будут развивать нативные инструменты, а со временем они станут AR-стандартом для мобильных устройства.

Пока всё по плану: Apple, например, включила обновленый ARKit 3.0 в список главных новинок WWDC 2019 и выкатила универсальный 3D-формат .usdz (поддерживают все популярные 3D редакторы). Сейчас уже есть нативная интеграция просмотра .usdz в Safari на iOS:

А Google стабильно говорит о развитии ARCore на своих конференциях I/O и регулярно обновляет корневую библиотеку ARCore — Scenform, которая отвечает за отрисовку сцены и объектов в дополненной реальности.

Братство в вакууме

Разработка и на Unity, и на "голом" ARKit / ARCore идет в информационном вакууме. Да, в России AR занимаются десятки компаний — как мы, Faradise и Alchemy AR — а в мире сотни. Но такого мощного сообщества, как, например, вокруг PHP или Python, еще не сложилось, и на StackOverflow нет ответа на любой AR-чих.

Иногда, решая задачу, будто влетаешь лбом в бетонную стену: не знаешь, что делать, и узнать не у кого (Гугл еще не в курсе). Остается решать самим. И решаем, причем в процессе мы несколько раз находили недокументированные возможности ARKit. А в первых версиях ARCore вообще не было поддержки анимации у 3D-моделей, хотя в промо-роликах лев танцевал.

Промо-ролик демоверсии ARCore Oz

С другой стороны, у нас довольно узкая тусовка, и AR-разработчики знают друг друга. Мы из разных компаний, но все в одной лодке: нащупываем пути развития, создаем библиотеки для работы с AR. Наши AR-продукты для заказчиков — это, конечно, коммерческая тайна покрытая семью NDA. Но опыт изучения ARKit и ARCore никуда не спрятать, плюс делаем инструменты для облегчения AR-жизни — ими и делимся с коллегами.

Например, для записи видео в AR-режиме с 3D-моделями традиционно применяли обходной путь: писали видео экрана смартфона. Это колхоз. Сделали собственное решение — SCNRecorder, чтобы писать видео с камеры смартфона и добавлять на него AR-модель и звук, и выложили для всех на Гитхаб.

Приятно видеть, что SCNRecorder оказался полезен и нашим коллегам — в Сан-Франциско (США) его внедряют для записи видео в приложении Panda. Другие AR-разработчики тоже публикуют свои решения, и мы создаем общую базу инструментов. Б — братство!

AR-разработчик = евангелист + аналитик

На технологии AR нет устойчивого спроса, потому что рынок еще не сформировался. За рубежом многие считают дополненную реальность перспективной, но мало кто знают, как ее монетизировать (один из немногих примеров — игра Pokemon GO, которая принесла разработчикам $2 млрд). В России всё даже интереснее.

У нас многие потенциальные заказчики пришли из офлайна, не слышали об AR и не понимают, как работает эта технология. Иногда переговоры выглядят так: "Это что, для телефона? Мне не надо, мне целый сайт дешевле сделали" (утрирую, но суть такая). Единственный путь — стать евангелистами AR. Мы методично погружаем клиента в технологию: делаем демо, бесплатные микропроекты, показываем AR-кейсы в той же области. Постепенно у клиента появляется интерес к коммерческому применению AR.

Бывает и другая реакция: "О, AR — это круто! Надо делать". Но если не знать, с какой целью внедряем технологию, получится разработка ради разработки. Это путь к разочарованию и в AR, и в нас. А мы хотим делать продукты, которые принесут пользу бизнесу и потребителям, и продвигать дополненную реальность. Поэтому глубже погружаемся в процессы заказчика, чтобы предложить полезное решение.

На мировом рынке проще: больше компаний, которые понимают перспективы AR и готовы развиваться в этой сфере, — и мы планируем выйти на зарубежные рынки. По digital-трендам Россия быстро догоняет мировой уровень. В первом ряду идут гиганты вроде "Сибура", которые уже используют AR/VR-компоненты мирового уровня, а за ними следуют остальные.

Думаю, в России у AR-разработчиков тоже будут хорошие возможности (как это уже произошло в финтехе и нейросетях). К тому же у нас лучшие программисты — по уровню специалистов мы, вместе с Китаем, в топ-2 в мире (так говорит HackerRank и рейтинги ICPC, IOI и Facebook Hacker Cup). Так что двигаем AR-прогресс из России.

Почему вы не сможете нанять "готового" AR-разработчика (и я не смогу)?

У нас в компании работа построена по [фэншую] лучшим ИТ-практикам: эджайл, джира, слак, дженкинс, конфлюенс — вот это вот всё. Отличий только два. Во-первых, нас всего 15 (этого хватает, чтобы делать AR-проекты). А во-вторых, даже в нашу небольшую команду очень сложно найти новых людей.

Для работы с дополненной реальностью нужно знать геометрию и технологии 3D-отрисовки. А поскольку готовых решений для наших задач нет, кроме своего стека нужно знать смежные. Не все разработчики, даже хорошие, готовы во всём этом разбираться. А людей с AR-опытом слишком мало: компании нашего профиля можно пересчитать по пальцам, причем многие только начинают работать.

Мы же набирали знания два года, разбираясь и набивая шишки по ходу дела. Поэтому сейчас и не пытаемся искать "готовых" опытных сотрудников. Чаще приглашаем уверенных мидлов и джунов без AR-опыта, готовых учиться.

Драйв и кайф: почему мы занимаемся AR

Да, нам непросто находить заказчиков и сотрудников, нужно продавать не только свои услуги, но и целую отрасль. Но игра стоит свеч.

Мы стоим у истоков популярной технологии, первыми решаем сложнейшие задачи, и в нашей отрасли царит дух свободы и энтузиазма, как на заре развития интернета. Это кайф 🤤. Кроме того, у AR отличные перспективы в рекламе, медицине, обучении и так далее. Когда спрос на AR-решения рванет вверх по экспоненте, мы хотим быть среди самых опытных и востребованных игроков на этой поляне.

А еще AR драйвит меня: я хочу видеть ее в своей жизни. Дополненная реальность улучшит жизнь в тысячах ситуаций. Я хочу, чтобы моя жена сразу находила машину на парковке супермаркета по AR-указателям, а туристы ориентировались в моем родном Петербурге так же легко, как я. Это и многое другое уже возможно — был бы заказчик с энтузиазмом.

Пределы AR

Мы одними из первых в СНГ занялись не собственным продуктом, а AR-разработкой под заказ. Для одних клиентов мы делали "узкие" проекты — например, AR-открытки (отправьте друзьям открытку с Исаакиевским собором, и из нее вырастет 3D-модель). Для других — масштабные. Сейчас занимаемся соцсетью, где в реальном мире можно оставить другим пользователям AR-объекты и распознавать метки и находить 3D объекты. В результате мы овладели довольно широким спектром возможностей. Поэтому расскажу об AR-возможностях на примере того, что может наша команда. Итак, сейчас смело можно:

  • разместить в реальном мире любой AR-объект — 3D, gif (включая GIPHY), изображение, текст или видео, в том числе с YouTube
  • найти любой размещенный 3D объект в нужно геолокации
  • сделать совместную игру (до 10 человек пока) и пострелять друг в друга или совместно в общего врага
  • рисовать навигацию снаружи и внутри помещений в AR (без маячков и wifi)
  • распознать "на лету" метки (лого бренда или страницу в каталоге) / QR-коды и показать нужный контент (3D объект или что угодно) с удобной админкой под клиента
  • распознать объект (например, навести телефон на здание и узнать, что это) Обычно ради уверенного распознавания тысячи фоток объекта прогоняют через нейросети. Мы же объединили сканирование с геолокацией: телефон знает, что за объекты рядом с вами, сокращает список вариантов и выдает точный ответ
  • сканировать любой живой неподвижный объект (размером до 2х2х2 метра) и в режиме реального времени делать 3D модель и отправлять её куда угодно в формате всех популярных 3D редакторов (качество среднее, но издалека можно не отличить человека от 3D модели)
  • селфи с 3D объектами (без датчиков глубины, не нужен iPhone X и выше)
  • разместить 3D объект за человека или перед ним в дополненной реальности (окклюзия, пришла с ARKit 3.0)
  • записать видео со звуком или фото в дополненной реальности в максимальном качестве (SCNRecorder)

Этих возможностей достаточно для решения задач, которые сейчас ставят перед AR. Можно показать над товаром в магазине виртуальную карточку с описанием. Или посмотреть, как этот здоровенный холодильник впишется на кухню. Или распознать на улице неизвестное заведение: "У того кафе пять звезд на Tripadvisor, идем!". Или привести покупателя по "лунной дорожке" в ваш магазин. Или выбрать блюдо в ресторане не по названию, а по 3D-модели, наведя телефон на меню. Или подсветить, как ставить узел при сборке машины на конвейере.

Возможностей больше, чем идей по применению. Качественные идеи — дело ближайших лет.

Станет мейнстримом? Да!

Думаю, дополненная реальность станет обычным делом в реальном мире — чем-то вроде "нового инстаграма". Те компании, которые опоздали с развитием в интернете в 90-е и 00-е, оказались на задворках бизнеса и прогресса. То же самое произойдет с компаниями, которые в 20-е дистанцируются от AR / VR.

Пока AR воспринимают как фишку для отстройки от конкурентов, пробу возможностей.

А к 2025 году 75% всех работающих людей в мире будут из поколения миллениалов, а за ними придет поколение Z. Это "цифровые" поколения. Для них нужны новые средства вовлечения, новые инструменты и интерфейсы для работы и бытовых дел.

Я не вижу для этого других прорывных возможностей, кроме AR / VR (без вживления чипа в мозг от Neuralink). Думаю, рынок найдет новые способы применить и монетизировать их. Поэтому нас ждет много экспериментов — и много решений, которые сейчас просто не приходят на ум.

Ну а дело AR-студий — наращивать технологические мускулы и реализовывать их максимально качественно. Ведь кто, как не мы, можем приблизить будущее?

0
26 комментариев
Написать комментарий...
Igor U

Не кажется ли вам, что все технические моменты берут на себя Apple / Google / Unity / Vuforia, и в вашем примере: "выбрать блюдо в ресторане не по названию, а по 3D-модели, наведя телефон на меню", бОльшую роль сыграют 3D-визуализаторы? А программистам останется только отобразить .usdz на якоре, что решается за 15 минут? Ведь все эти блюда / бижутерию / товары из магазинов / что-угодно нужно рисовать.
По такой логике будущие AR-студии будут состоять из 10 визуализаторов и одного программиста?

Спасибо за статью, тоже год назад бился между Unity и ARKit и выбрал ARKit.

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Игорь, по такой схеме и двигались, например, ребята из Faradise (почему то сейчас недоступны) - набрали около 100 удаленных 3D-шников, чтобы всю мебель оцифровать в 3D.
Но не упускайте из виду важные составляющие приложения: дизайн, ux/ui, быстрота работы, авторизация, корзина, соц. механики и многое другое.
Хорошая 3D модель - это малая часть хорошего и удобного сервиса.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Артем Исаев

С очками, конечно, было бы удобней, чем с телефоном, но, видимо, это не технологии нашего дня, раз у гугла с его Google Glass не вышло

Ответить
Развернуть ветку
Вадим

Смартфон в кармане - это удобно! Поэтому и зашло! Очки и прочая хрень на голове - не удобно! Поэтому и не зайдёт! Думайте! Нужно что то другое, а этого пока нет!

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Мы тестировали в офисе все существующие очки на рынке VR и доп. реальности - не смогли даже выйти из офиса в дверь без стиля "зомби" (руками вперед и наощупь) =)

Ответить
Развернуть ветку
Владимир Вышеславов

 играю уже 3 года в покемон го недавно вели функцию ар камеры впечатлило и я всё понял хотя очень долек от программирования я думаю это наше будущие и уже не куда не дется это уже свершилось и я уже этим пользуюсь спс автору статьи . п с  мне уже под 50

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Мы вас не подведем с хорошими приложениями в будущем, чтобы и удобно и полезно и через AR)

Ответить
Развернуть ветку
Александр Рой

Интересная подача материала, спасибо автору. Пишите ещё!

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Спасибо. Обязательно напишем еще. 

У вас тоже есть что почитать)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Михаил Михаил

Хайповать можно будет если не нужно будет надевать очки для входа в неё) Когда можно голограммы можно будет создавать)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Михаил Михаил

Я поясню что имел ввиду: когда изображение будет не на экране смартфоне вообще, а вот в воздухе! Может смартфон будет типа проектора например...

Ответить
Развернуть ветку
Vl Al

Свет, в общем-то, и сейчас распространяется разными путями, не только прямолинейно. То есть, грубо говоря, фотон может прилететь в глаз из-за угла. Но кривая распределения такова, что видимый эффект - прямолинейное распространение света. Когда научатся сдвигать пик распределения - вот тогда и...

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Хайп был в прошлом году - сейчас это норма разработки и бизнес рассматривает технологию AR как часть коммерческой составляющей продукта или сервиса.

Ответить
Развернуть ветку
Whoosh XD

А  если к очкам прикрутить ещё и перчатку для управления жестами в ar...
P.S. Статья интересная

Ответить
Развернуть ветку
Artem Larin

Отличная статья, тоже делаю AR проект и тоже верю в то, что технология только в начале пути, особенно в России. 

Ответить
Развернуть ветку
Евгений Ван

Статья интересная, очки с доп реальностью не так долго будут в обиходе, быстро на смену прийдут линзы с доп реальностью.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Добрый вечер. Пишите на [email protected] - на все вопросы ответим, по срокам и ценам сориентируем!

Ответить
Развернуть ветку
Alex Khristoforov

Стало быть и бизнесу и разработчикам нужны идеи позволяющие реализовать технологии. Круто когда твой клиент банк, а на  сколько ваши услуги  сейчас по карману для малого бизнеса?

Ответить
Развернуть ветку
Artem Kharitonov
Автор

Наши услуги по карману малому бизнесу, тк технологию мы освоили хорошо - типовые проекты можно реализовывать быстро и недорого.
Пишите на [email protected] - на все вопросы ответим, по срокам и ценам сориентируем!

Ответить
Развернуть ветку
Denis Manchenko

 Проектирование и только проектирование, наличие опыта в 3D - моделировании, всё это будет Вашей визитной карточкой в мир дополненной реальности, как бизнса.
Примеряйте ещё не изготовленные украшения, моделируйте, ещё не созданные интерьеры.
Работайте, показывайте, то, что Вы готовы изготовить и продать.
Заинтересуйте людей ИХ видением.
 

 Я никого не хочу обидеть. Я просто рассказываю. Поймите.

 Дополненная реальность в России - это и правда классный инструмент.

 Самое главное - это работа дизайнера. Дальше будут другие действия. Поймите ... )

 Дополненная реальность позволяет локально работать тем, кто готов предоставить деньги на проект совместно с тем, что является объектом "дополнения" реальности.

 Ведь основное - это показать - КАК будет выглядеть что-то новое.

 Безусловно, просто "ласкать "дополненных" котиков" - не станет ни одна дура в России.

Ответить
Развернуть ветку
{ #

А вы занимаетесь добавлением статичных объектов НА человека?

Ответить
Развернуть ветку
Artem Kharitonov
Автор

В новой версии ARKit 3 (iOS) есть возможность отслеживать человека и его конечности - на это можно накладывать (и перемещать) любые объекты и анимировать.

Ответить
Развернуть ветку
23 комментария
Раскрывать всегда