Как сделать дополненную реальность в WebAR и принять участие в биеннале в Бельгии
Сначала немного расскажу о себе. Меня зовут Влад, я дизайнер и креатив-кодер. Рождён и взращён в Москве, последние три года жил и работал на Бали, сейчас переехал в Порту. Я типа честный, поэтому не буду включать дурака. Пишу эту статью, чтобы обратить внимание на мой проект —
Помимо саморекламы рассказать есть что, и я постарался сделать это интересно.
На Бали работал дизайнером упаковки и коммуникации с производителем гамаков и прочих Outdoor продуктов. В целом это весело: много всяких крафтовых проектов, экспериментов, работы с реальным продуктом и формой.
Но спустя год я заскучал…
После нескольких месяцев уныния я решил, что в свободное время хочу что-то кодить и экспериментировать с графикой, написанной алгоритмами. Так я начал изучать Processing, но потом быстро переключился на его Web брата — P5.js.
Свои эксперименты начал выкладывать в Инсту*. Я почувствовал глоток свежего цифрового воздуха. Можно просто делать всякую дичь по-фану.
Благодаря моей активности меня заметил Бельгийский художник Andy Wauman и написал мне в директ с предложением поучаствовать в его диджитал перформансе.
Не смотря на то, что Andy работает с криэйторами со всерго света, нам с ним посчастливилось оказаться на одном острове. Так мы решили встретиться попить кофе и поговорить за визуальную культуру в уютной кафешке на Бали.
В ходе беседы мы пришли к идее сделать что-то вместе в физическом мире, помимо той движухи, в которой мы уже коллабились. Решили делать книгу в единственном экземпляре. Решили что было бы классно сделать книгу, которую невозможно было бы прочитать без смартфона. Страницы должны были выглядеть как абстрактные плакаты, при наведении на которые можно было бы прочитать то, что там зашифровано. У Andy были фразы/высказывания (типа поэзия в одну строку), а я должен был это все задизайнить.
За неделю я успел сделать 3 плаката и начал ковыряться в Unity для создания AR experience. Потом бахнул коронавайрус и мне пришлось отложить этот проект, дыбы позаботиться о своем благополучии в те нелёгкие времена. Andy в принципе был тоже занят этим же.
Мы оставались на связи и спустя некоторое время Andy сказал, что есть вариант подать работы на биеннале ONBOARDS в Антверпене.
Мы показали плакат и заявили, что у него будет AR коммуникация. На тот момент я всё ещё не получил никакого удовлетворительного результата с AR, поэтому я начал планомерно искать решение. Особенность биеннале ONBOARDS в том, что это плакаты, развешанные по всему городу. Это не подготовленные залы и площадки. Задача усложнялась тем обстоятельством, что AR должен работать у большинства случайных горожан.
Совершенно не вариант делать мини-приложение и просить прохожих его закачать. Вариант использовать Инсту* и его маски тоже отлетел, так как слишком усложнялся путь взаимодействия.
Решил искать решения в WebAR, то есть такое решение, которое работало бы напрямую в браузере. Есть всякие платные и упрощенные в использовании решения для создания дополненной реальности, такие как например 8th Wall, но это было слишком дорого для простого фанового проекта. Еще было непредсказуемо сколько человек отсканирует наш плакат, от этого зависела стоимость лицензии.
В итоге нашел бесплатную библиотеку Ar.js. Начал экспериментировать в ней.
Оказалось, что такой разблюреный плакат плохо трекается. В нем не хватало якорных точек, поэтому все так дёргается.
Пришлось дополнять плакат акцентами, чтобы трекинг "глаз" распознавал картинку и видел куда лепить видео. Интересно, что при создании уникального изображения для трекинга нужно его "превратить" в NFT. Это было еще до того, как это стало мейнстримом.
В итоге получилось довольно неплохо и мы отправили работу организаторам ONBOARDS. И нас взяли!
Спустя время я спросил у Andy есть ли какие-то фотки с нашим плакатом и в ответ я получил этот снимок ↓
А недавно я подготовил этот проект, чтобы поделиться им со всеми.
Там много такой красоты ↓
Вообще конечно это история про то, что дела, которыми мы занимаемся сегодня, люди, с которыми мы встречаемся, могут привнести в жизнь неожиданные события. Если не общаться и ничем не заниматься, не важно под какими предлогами, то под лежачий камень вы сами знаете что.
Всем успехов и добра!
https://t.me/VladislavAldokhin (дизайнр, креатив кодер, автор канала о дизайне Graphic Story)
*Meta, которой принадлежит Instagram, признана в России экстремистской организацией