Юрий Мельничек о дополненной реальности (AR) и нейронных сетях в мобильных приложениях

Все понимают, что совсем скоро в мире мобайла должны произойти серьезные изменения. Основатель Maps.ME & Aimatter (А теперь еще и Bulba Ventures) Юрий Мельничек рассказал, как скоро появится новое поколение мобильных приложений и на что это повлияет.

Белорусская компания Aimatter специализируется на проигрывании нейронных сетей на мобильном телефоне, они впервые в мире запустили технологию выделения человека из фона с возможностью замены фона. Среди самых известных проектов Aimatter - нашумевшие Fabby и Fabby Look. В августе 2017 новаторский стартап приобрела компания Google.

Нейронные сети - это модели машинного обучения, которые за последние годы научились решать задачи, раньше считавшиеся прерогативой исключительно интеллекта. Так, раньше считалось, что отличить на видео отличить различных животных, к примеру, кошек и собак, может только человек, но никак не компьютер. Оказалось, что машины могут так же хорошо справляться со сложной задачей. В основном нейронные сети связаны с анализом происходящего на фото и видео, обработкой звука или текстов. Надо отметить, что SDK, созданный Aimatter, не единственный, похожим проектом CoreMelt занималась и компания Apple. CoreMelt позволяет запускать различные модели машинного обучения прямо на IPhone и IPad. Facebook также выпустили и Caffe2go, которые выполняют нейронные сети на мобильных устройствах, у Google есть свой проект - TensorFlow.

Юрий считает, что совсем скоро появится абсолютно новое поколение мобильных приложений. Со временем мобильное приложение научится понимать, что происходит в камере, на что человек смотрит и где это находится.Такие инновации позволяют создавать проекты совсем другого масштаба. Так, инвестор Aimatter верит, что возможности голливудских студий станут доступны каждому пользователю смартфонов.

Автоматическая замена фона и ключевые точки.

Юрий рассказал про создание так называемого green screen без green screen - выделение контура человека и его отделение от фото. Таких приложений, созданных с помощью различных технологий, на рынке уже немало. Отделение контура человека от изображения позволяет подставлять новый фон, что может быть полезно для видеозвонков или создания более ярких и красочных изображений. Разработчики приложений вроде Prisma или Paper Artist также опираются на похожие технологии и используют нейронные сети, которые работают прямо на мобильном устройстве.

Компания экспериментировала с использованием модели шума. Распознавая ключевые точки лиц пользователей, приложение избавляется от него.

На самом деле это возможно выполнить не только с помощью нейронных сетей. Недавно вышедший IPhone X имеет встроенную hardware поддержку распознавания ключевых точек. Также можно определять примерный возраст человека, пол, эмоции, которые изображены на лице, рассказывает Юрий. При наличии ключевых точек можно добавлять маски, чем сейчас занимается большое количество приложений, или с помощью распознавания различных частей тела изменять цвет волос и кожи. Сегодня многие разработчики, в том числе и Aimatter, научились попикисельно сегментировать различные части лица: отдельно волосы, брови и нос, даже белки, зрачок и роговицу глаза.

Если аккуратно разметить все данные в автоматическом режиме на изображении или видео, можно сделать, к примеру, виртуальное наложение косметики. Молодое поколение все больше времени проводит в интернете, все чаще общается с помощью видеозвонков. И, если наносить макияж нужно только для общения по видео, разве не проще это делать прямо на телефоне? Основателю Aimatter кажется, что виртуальный make up не будет калькой с реальной косметики, как IPhone, когда он только запустился и копировал реальный интерфейс. Пока что в таких приложениях немало подражания реальному миру. Юрий Мельничек уверен, что через несколько лет практически все видеообщение будет так или иначе проходить с виртуальной косметикой и фильтрами.

Новые возможности для дейтинга.

Другое важное преимущество нейронных сетей - это возможность определять наготу в режиме реального времени и ее замаскировать. Юрий уверен, что эти технологии смогут создать новое поколение приложений для dating. Так, считается, что Chatroulette потерял популярность из-за неприятных инцидентов.Случайные собеседники часто демонстрировали на камеру неприличные вещи, также людям при знакомстве было сложно преодолеть барьеры общения. Если совместить маски с автоматическим определением того, что табуировано в обществе, можно перезапустить дейтинг в новом формате, более приемлемом для культуры различных стран.

Как нейронные сети могут приносить прибыль E-commerce?

Сейчас технологии достаточно успешно используются и в коммерческих целях. Пока что эта задумка на начальной стадии, но уже сегодня можно виртуально примерить аксессуары или сфотографировать предмет, чтобы позже купить в магазине. Спикер считает, что кейс виртуальной примерки будет развиваться намного дальше, потому что сейчас основная проблема в сфере E-commerce - большой процент возвратов. Часто человек не может определить, как будет выглядеть на нем та или иная вещь. Технологии, которые позволят снизить процент возвратов и вовлечь человека в использование товаров еще до того, как он их получит, точно будут увеличивать конверсию.

Уже сейчас нейронные сети успешно определяют положение фигуры человека в пространстве, что может быть полезно для различных кейсов. К примеру, технологию можно использовать в камерах видеонаблюдения, которые становятся умнее и могут опознать, что человек упал или происходит драка. Также эту разработку использует приложение для спикеров, выступающих на публике. Оно анализирует жестикуляцию, а потом дает советы, как можно выступать более эффективно. Определяя положение тела человека и имея его видеозапись, можно вписывать 3D модель тела в имеющуюся фотографию.

Ваш личный автомобильный помощник.

Некоторые проекты смогли создавать навигацию навигацию в VR. Таким образом получается наложить маршрут движения прямо на картинку с видеокамеры, а также определять дорожные знаки. Со временем появится удобная возможность предупреждать о камерах с помощью компьютерного зрения. Все функции умного автомобильного помощника автопилота в Tesla сейчас доступны большинству пользователей. Чтобы начать ими пользоваться, необходимо просто скачать приложение и прикрепить смартфон к лобовому стеклу автомобиля, рассказывает спикер.

Как связаны игры и виртуальная реальность?

Несколько разработок позволяют с помощью визуального поиска найти и приобрести вещи в интернет-магазине, получить подробную информацию о месте, отзывы из Foursquare, а также перевести любой текст. Появились приложения, способные определить по фотографии даже различные виды растений и грибов. Юрий считает, что эта тема пока абсолютно не исчерпана. Основатель Aimatter рассчитывает на превосходные результаты от пересечения направления VR с геймингом. Разработчики Pokemon GO стали своего рода первопроходцами в этой области. Появление приложения показывает, что скоро появится намного больше игр, совмещающих виртуальный мир с реальностью. Также Юрий уверен, что в ближайшем времени создадут игры жанра РПГ, в которых можно будет создать не абстрактного героя, а самого пользователя в боевом костюме и с оружием. Так игроки смогут лучше погрузиться в виртуальный мир.

Со временем такое четкое разделение на VR и AR будет он очень сильно размываться. Виртуальный и реальный мир будут все больше интегрироваться друг в друга, уверен спикер. Так, у HTC Vive есть достаточно неудобные контроллеры, которые так или иначе видны в виртуальном мире, но при этом камера в системе находится в очках с обратной стороны, то есть headset может видеть мир глазами игрока. Очевидно, что лучшими контроллерами будут руки самого человека, считает Юрий. Уже сейчас нейронная сеть может распознать, где на видео от первого лица находятся руки и какие действия они выполняют. Юрий уверен, что со временем станут возможны кейсы, когда часть предметов из реального мира будут переноситься в VR. К примеру, оставить стол и напитки, с которыми можно будет взаимодействовать в виртуальном мире. Это позволит создавать ощущение правдоподобности и соединять две реальности.

О чем говорит ваше лицо?

По выражению лица человека можно определить очень много: пол, примерный возраст и эмоции. Если говорить про рекламу, уже сейчас есть кейсы, когда в оффлайне рекламные панели распознают людей и их эмоции, а после показывают разный контент в зависимости от пола, возраста и настроения. Спикер уверен, что эта разработка перешла в мир мобильных приложений, просто о ней не сообщается. К примеру, когда человеку в мобильном телефоне показывают рекламу, его эмоции определяют и используют в качестве сигнала, интересна ли реклама пользователям. Основатель Aimatter считает, что запуск нейронных сетей на мобильном телефоне дает очень много новых возможностей, которые будут постепенно применяться в различных приложениях.

Расшифровку подготовила команда Target Summit, читайте нас VC.RU , а так же на нашем телеграмм канале.