Нейросети и асаны: международная компания Zenia — о том, зачем заниматься йогой с умными устройствами

Весной 2020 года на умных устройствах Sber появился смартап Zenia для любителей йоги. С помощью SberPortal и SberBox Top пользователи могут выполнять асаны, получая персонализированный фидбэк и полезные советы. А ещё — отслеживать прогресс. Мы попросили CEO Zenia Алексея Курова рассказать, как устроен сервис и почему занятия с устройствами, оснащёнными умной камерой, такие удобные.

Первую версию Zenia мы запустили в 2019 году. У приложения четыре основателя: я, Денис Соколов, Дмитрий Заусаев и Стас Демидов. У нас богатый бэкграунд в программировании, и мы решили создать сервис для домашних занятий йогой. Сам я пробовал заниматься йогой по роликам в YouTube и понял, что это неудобно. Так возникла идея создать приложение. Отличие Zenia от большинства таких сервисов в том, что мы добавили алгоритмы машинного обучения.

С помощью компьютерного зрения мы распознаём движения пользователя и в режиме реального времени определяем, правильно ли он выполняет асану. Если нет — даём совет, как скорректировать технику. В конце каждой тренировки пользователь получает развёрнутый фидбэк и советы: он узнаёт, как прошло занятие и на что стоит обратить внимание в следующий раз. Весь прогресс сохраняется, чтобы пользователям было удобно его отслеживать. Для пользователей сервис понятен и удобен, а «под капотом», разумеется, спрятаны сложные технологии. Сейчас расскажу какие.

Алгоритмы компьютерного зрения, благодаря которым происходит распознавание движений, мы разрабатывали и улучшали на протяжении пяти лет. Дело в том, что йога — специфический вид активности. Для выполнения многих асан пользователи принимают позы, которые не встречаются в повседневной жизни. Поэтому мы не могли просто взять фотографии людей в разных положениях и обучить нейросети на них. Мы собрали собственный датасет, в котором было больше 300 тысяч изображений, и научили алгоритмы корректно распознавать специфические позы.

Ещё одна особенность Zenia в том, что сервис придуман для домашних занятий йогой. Нам пришлось учитывать целый набор факторов: от освещения до мебели на заднем плане. Допустим, человек занимается, стоя напротив окна, а позади стоит диван, и фигура сливается с ним. Или пользователь надел толстовку, в которой контуры тела видны плохо. Чтобы исключить ошибки в распознавании, мы написали отдельный алгоритм, который изменял изображения из основного датасета. Алгоритм добавлял на эти фотографии плохую освещённость, бытовые предметы, мебель — всё, что могло попасть в поле зрения камеры и сбить нейросети с толку. В итоге мы получили очень высокую точность.

На первом этапе пользователям было доступно только общение с виртуальным инструктором. Позднее мы добавили занятия с настоящими инструкторами: у нас есть база профессиональных йогов, которую мы продолжаем пополнять. С инструкторами мы сотрудничаем не только на этапе записи занятий. Именно они помогают давать пользователям экспертный фидбэк. Сначала мы выясняем, как правильно выполнять упражнения. Затем наши контент-инженеры переводят это в машинный вид. Эксперты проверяют всё ещё раз, и только после этого обновлённые версии занятий видят пользователи. После каждой тренировки мы предлагаем им оценить результат. К примеру, просим рассказать, было ли слишком трудно или легко, узнаём, какие асаны давались сложнее всего. И корректируем что-то, если это необходимо.

Многие спортивные приложения перед началом занятий просто выясняют у пользователя, какой у него вес, рост, уровень физической подготовки и цели. У нас другой уровень персонализации: мы отслеживаем прогресс пользователя и можем давать более точный фидбэк, чтобы его занятия были максимально продуктивными.

Мы не считаем, что пользователь может делать что-то «неправильно» — если он занимается йогой, он уже на правильном пути. Наша задача — скорректировать возможные неточности и помочь человеку заниматься эффективнее. Поэтому сервис мы спроектировали так, что он подходит и начинающим, и тем, кто занимается йогой десятилетиями.

Со SberDevices мы познакомились ещё в 2019 году и сразу решили, что было бы здорово начать сотрудничать. Обговорив детали, весной мы решили, что портируем Android-версию Zenia на умные устройства Sber. До этого в приложении можно было заниматься со смартфона и через веб-версию, а в рамках сотрудничества мы впервые вышли на умные устройства.

Для занятий в Zenia нужна камера, поэтому смартап доступен только на SberPortal и SberBox Top. Большой плюс этих устройств в том, что там есть широкоугольная умная камера. Представьте, что человек решил позаниматься йогой со SberBox Top, запустив смартап на телевизоре, который обычно находится на небольшом расстоянии от дивана — полтора-два метра. Обычная камера не смогла бы «видеть» пользователя целиком, а широкоугольная так умеет, поэтому заниматься можно прямо перед телевизором или сбоку от него. Но нам всё же пришлось учесть один нюанс: камера охватывала всю комнату, и если туда кто-то заходил во время занятия, это могло сбить алгоритмы. Поэтому мы подкрутили настройки и сделали так, что компьютерное зрение анализирует только зону, в которой находится пользователь. Даже если в комнату войдут, камера не будет «отвлекаться» на этих людей, если они не оказываются рядом с пользователем.

Ещё одним плюсом стала возможность голосового управления. Допустим, во время занятия пользователю позвонили или ему нужно встретить курьера. Вместо того чтобы искать пульт от умного устройства или идти к нему, можно просто сказать «Поставь тренировку на паузу». Если человек хочет просто взять передышку во время тренировки и полежать на коврике, это особенно удобно. Сейчас у нас есть базовые команды — виртуальные ассистенты Салют могут запустить смартап, начать занятие, поставить его на паузу и завершить. В будущем мы хотим расширить набор команд, сейчас наблюдаем за тем, как это работает.

С портированием приложения на устройства Sber никаких проблем не возникло. Мы были на связи с командой SmartMarket из SberDevices, которая отвечает за появление приложений от внешних разработчиков на устройствах. Обсуждали детали, изучали документацию. Кое-что мы поменяли, например подогнали все интерфейсы под горизонтальную ориентацию. А с командой спортивного направления SberDevices адаптировали продукт под VUI (Voice User Interface). Добавить голосовые команды тоже оказалось достаточно просто. Zenia — нестандартное название, да и названия асан не самые распространенные в лексике слова. Поэтому мы передали все сложные кейсы команде, и разработчики SberDevices научили виртуальных ассистентов распознавать их.

С самого начала работы над смартапом Zenia мы много тестировали его на устройствах SberPortal и SberBox Top. Уже на первых тестах мы поняли, что большой экран значительно улучшает пользовательский опыт. Нам самим настолько понравились занятия с помощью телевизора, что мы решили активнее развивать веб-версию Zenia. Фидбэк убедил нас в том, что и пользователи предпочитают йогу на большом экране.

Ещё сотрудничество со SberDevices стало для нас поводом существенно обновить контент. Наша основная аудитория — англоязычные пользователи, поэтому и занятия были на английском языке. Мы решили, что не будем делать дубляж, и сняли целую серию занятий с русскоязычными инструкторами. Эта задача и так была в нашем бэклоге, но сотрудничество всё ускорило.

Сейчас мы продолжаем изучать возможности умных устройств и виртуальных ассистентов, думаем, как их использовать. И собираем фидбэк от тех, кто уже попробовал прокачать йогу с Zenia, чтобы сделать занятия ещё удобнее.