Как сделать AR-приложение для детей и по-взрослому взлететь в Google Play

История о маркетологах «Пятёрочки», которые решили отправить AR-Троллей в облачные ГасТролли и получилось неплохо.

Одна из сфер, для которой использование облаков стало обычным делом — как ни странно, маркетинг. Технология помогает компаниям искать новые способы взаимодействия с клиентами и иначе посмотреть на работу с BigData. Рассказываем в блоге Яндекс.Облака, зачем продуктовый ритейл применяет облака на примере кейса «Пятёрочки».

Для федеральной маркетинговой акции «Большие Гастролли» от торговой сети «Пятёрочки», приуроченной к выходу анимационного фильма «Тролли. Мировой тур», креативное агентство Yode Group в короткие сроки разработало мобильное приложение «Тролли.Караоке» с элементами дополненной реальности. VR и AR сегодня позволяют создавать креативные стратегии, которые помогают бизнесу эффективно взаимодействовать с целевой аудиторией.

Покупатели торговой сети получали за покупки карточки с 3D-эффектом, на которых были изображены герои мультфильма, а с помощью приложения можно было отсканировать «рубашку» и получить доступ к караоке-мелодиям известных европейских и русских хитов.

Также, в «Тролли. Караоке» можно было петь в караоке, записывать видео своих выступлений, применять разные АR-маски троллей, сохранять эти ролики, делиться ими в соцсетях, вызывать своих друзей на караоке-баттлы и получать призы за победу в них. Кроме того, записанное в приложении видео можно было загрузить на сайт акции «Большие ГасТролли» и принять участие в конкурсе за главный приз — поездку в Дубай.

Быстро разработать, быстро запустить и поддерживать приложение при высоких нагрузках — задача, которая сейчас относительно легко решается в облачных средах.Однако, для этой маркетинговой акции важно было учесть много сложных требований:

• Основная аудитория приложения — это дети, а значит необходимо было не допустить размещения в нем любого «взрослого» и провокационного контента.
• В реальном времени модерировать приложение, которое было установлено более 2 млн раз и куда загрузили более 15 тыс. видеозаписей, практически невозможно. Ручная обработка заняла бы очень много времени и ресурсов.
• Акция проходила на территории России, а значит было необходимо обеспечить сохранность данных и соблюдение закона о персональных данных ФЗ-152.

Было необходимо быстро разработать автоматическую систему премодерации, которая должна пропускать через свои фильтры весь аудио и видеоконтент, а затем маркировать потенциально опасные, чтобы их внимательно смогли отсмотреть модераторы.

Если писать такой сервис с нуля (или покупать по частям и интегрировать в бэкенд), то это существенно увеличивает бюджет любого проекта, скорость его разработки и саму обработку контента. Более того, если какой-то процесс происходит «на стороне» через API, то также надо следить за тем, чтобы данные не ушли на сервера, находящиеся не в России.

Было решено полностью разместить сайт проекта и бэкенд мобильного приложения в Яндекс.Облаке, на котором есть нужные сервисы машинного обучения, способные анализировать и маркировать потенциально опасные видеоролики.

Все загружаемые в приложение видео попадают в объектное хранилище Яндекс.Облака. После этого каждый ролик разбивается на кадры и обрабатывается сервисами платформы. Задачу можно условно разбить на две части: проверка картинки и проверка аудиодорожки.

Чтобы распознать элементы, которые не должны присутствовать в кадре, а также любой текстовый ненормативный контент, появляющийся на видео, был задействован сервис Yandex Vision. В его основе лежит анализ изображений с помощью моделей машинного обучения.

Модель обучается на определённом наборе изображений и затем оценивает, насколько загруженная картинка соответствует признакам, используемым при модерации. В свою очередь, все обнаруженные в кадре слова проверялись сервисом оптического распознавания текста (OCR). С его помощью определялись и исключались любые нецензурные слова.

Для распознания голоса использовался SpeechKit, на основе которого как раз работает Алиса — голосовой помощник Яндекса. Сервис работает с аудио на трёх языках: русском, английском и турецком. После распознавания голосовой дорожки, система проверяет текст на запрещённые слова.

Эти сервисы образовывали интеллектуальную систему премодерации контента, подобие которой используется во всём мире, например, в Facebook. Если AI находил в видео какое-либо отклонение от нормы, то оно помечалось специальным тегом и передавалось модераторам, людям, чтобы они могли проверить ролик на соответствие политикам безопасности приложения.

Ещё одной важной задачей, которая ставилась перед разработчиками приложения службой безопасности, стало обеспечение возможности фильтрации и обработки загруженного видеоконтента антивирусом. Изначально, в Яндекс.Облаке не было такой механики, но с помощью технической поддержки получилось реализовать его в Yandex Cloud Functions. Этот сервис позволяет создавать функции — бессерверные приложения, которым не нужны выделенные виртуальные машины. Это был первый случай реализации этого функционала в облаке.

Как уже было сказано, приложение было установлено более 2 млн раз, а пользователи загрузили более 15 тыс. видеозаписей. После модерации для участия в конкурс попало только чуть больше 6 тыс. выступлений.

Подписывайтесь на блог Яндекс.Облака, чтобы узнавать еще больше новостей и историй об IT и бизнесе.

Что сейчас активно читают наши подписчики:

• Из разработки в продакты: как создавать продукты, управлять процессами и мотивировать в ИТ
• Как создать IT-стартап, если ты гуманитарий?
  
• Кто нанимает голосовых роботов, почему им доверяют, зачем их крадут
  

#облачные_сервисы #маркетинг #кейсы #it