Шок: инопланетяне учатся с детьми английскому в дополненной реальности! Интервью с KODE, Skyeng и SberDevices

Продолжаем делиться интервью с финалистами Workspace Digital Awards 2023. Сегодня поговорим об AR-приложении «Английский с Элом», которое было создано усилиями IT-компании KODE, команды Skyeng и команды SberDevices. Приложение заняло первое место в номинации «Чат-боты» в WDA 2023. Послушаем победителей!

AR-приложение «Английский с Элом» создавалось для детского направления SberDevices для продукта Kidsar – набор для приложений с дополненной реальностью. Игра разработана под специальное устройство – смарт-дисплей SberPortal.

В общем, проект интересный, крупный и необычный. Команда SberDevices привлекла к сотрудничеству Skyeng и KODE, чтобы сделать большой проект для своей платформы и привлечь к ней внимание. KODE отвечали за разработку и выиграли с этим кейсом первое место в номинации «Чат-боты» нашей премии – Workspace Digital Awards.

Мы связались со всеми командами, чтобы рассказать самое интересное о проекте.

С нами пообщались:

● Анастасия Рубель, ex-менеджер проектов в онлайн-школе Skyeng;

● Юлия Мицкевич, менеджер проекта IT-компании KODE;

● Анастасия Никитина, экс-руководитель детского направления SberDevices.

Поехали!

– Здравствуйте, благодарим вас за участие в премии WDA и поздравляем с первым местом в номинации «Чат-боты»! Проектов, связанных с дополненной реальностью, на нашем конкурсе было немного – вы отличились и показали классный результат! Было ли у вас ожидание, что вы станете победителями в нашем конкурсе кейсов?

Юлия Мицкевич: – Конечно, мы были уверены в уникальности и отличной реализации проекта. «Английский с Элом» – это проект, который совмещает голосовые навыки, дополненную реальность, увлекательную методологию изучения иностранного языка, отличный дизайн и сложную техническую реализацию.

– Думаем, вы получили совершенно новый опыт, выполнив этот проект! Вопрос к Skyeng: правильно ли понимаю, что маркетинговая задача приложения «Английский с Элом» – формирование растущей аудитории, которая в будущем может стать клиентом Skyeng за счет любви к английскому языку и продуктам компании?

Анастасия Рубель: – Верно. Мы делали приложение, которое может понравиться как детям, которые уже изучают английский в Skyeng, так и тем, кто еще не занимается в школе. В Skyeng у детских курсов есть свой почерк: узнаваемые герои, игры и интерактивные задания в уроках, уникальные иллюстрации. Именно эти практики мы применили в создании игры в качестве своеобразного «спойлера» того, что может ждать ребенка на уроках с преподавателем.

– Skyeng известен своей тягой к геймификации и развлекательной составляющей обучения. Пожалуйста, расскажите, об этом подробнее. Насколько такой подход эффективнее «олдскульных»?

Анастасия Рубель: – Все уроки в Skyeng содержат игры, особенно те, что рассчитаны на детей дошкольного и младшего возраста. Каждый урок – это мини-сюжет, небольшая история про знакомых ребенку героев. Во время занятия преподаватель часто меняет активности, потому что концентрации внимания ребенка не хватит на то, чтобы двадцать минут делать одно упражнение.

Такой подход помогает поддерживать естественный интерес ребенка: урок превращается из скучной зубрежки в захватывающее приключение, ребенок с интересом следит за судьбой героев и ждет с нетерпением, что же произойдет с ними на следующем занятии. Со взрослыми тоже работает: гораздо интереснее помочь герою курса решить бытовые проблемы на английском, чем заучивать наизусть пятьдесят фраз, которые пригодятся в аэропорту или супермаркете.

– Приложение «Английский с Элом» рассчитано на детей от 6 до 11 лет. Получаете ли вы от детей обратную связь о вашей игре? Как вы собираете и обрабатываете обратную связь? Возможно, опрашиваете родителей?

Анастасия Никитина: Мы проводили очень много тестов с помощью детей сотрудников: выезжали в школы, где проводили исследования реакции детей, записывали видео. Дети дали нам много подсказок, благодаря чему мы смогли сделать проект еще увлекательнее для них.

– Детские UX-исследования, интересно! Объясните, как работает игра? Можно ли оставить с ней ребенка один на один, или ребенку потребуется помощь родителей?

Анастасия Рубель: Игра «Английский с Элом» создана для детей 6-11 лет. Она помогает им выучить популярные английские слова на разные темы.

Для игры понадобится SberPortal с набором Kidsar: это игровое поле с карточками и специальное зеркальце, благодаря которому камера смарт-дисплея «видит», что происходит на игровом поле. Вместо того, чтобы взаимодействовать исключительно с экраном планшета, ребенок взаимодействует с карточками: например, выкладывает из букв слова, изображения которых видит на экране. Или кладет перед планшетом карточку с картинкой того слова, которое услышал в игре.

После первого знакомства со словами, ребенок в игровой форме тренируется узнавать их на слух и в письме. Еще он учится «писать» их, выкладывая слова из карточек. Контроль не нужен: камера сама распознает, верно ли выложены карточки. Приложение предложит пойти дальше или попробовать снова. Родители могут настроить камеру и выложить первые карточки, но постоянная помощь родителей не нужна.

– Это вы придумали главного героя игры – марсианина Эла, верно? Почему персонаж – именно марсианин и именно Эл? Вы сразу придумали его дизайн или были разные варианты героев и самого Эла?

Анастасия Рубель: – Да. Эл родился в процессе создания уроков, чтобы помочь детям полюбить английский язык. Он марсианин, потому что нужен был кто-то, кто не знает английского языка. Эл изучает английский вместе с ребенком.

Эл – от слова «alien», инопланетянин. Конечно, варианты героя были разными, но милый инопланетянин покорил сердца всех. А историю «рождения» Эла во всех деталях можно почитать здесь.

– Почему вдруг марсианин Эл, а не какая-нибудь зверушка или мультяшные версии «Америкашки Дэнни» с Джорданом? По какому принципу вы выбираете «лица» для конкретных курсов и проектов? Почему в этом случае понадобился Эл? Виртуальный персонаж – это дань практичности в виде авторских прав или это было необходимо, чтобы обеспечить бОльшую вовлеченность именно детской аудитории?

Анастасия Рубель: – Эл «родился» спонтанно, когда в Skyeng искали персонажа, которого дети полюбят настолько, что будут ждать встречи с ним (и с английским) как с лучшим другом. Хорошо созданный виртуальный персонаж – это узнаваемый образ, который помогает увлечь детей. С этой задачей Эл справляется на отлично.

В конкурсе на персонажа уроков кого только не было: попугаи, щенки и котята, монстрики и динозавры, и даже морковка. Но сейчас кажется, что инопланетянин – лучший вариант. Он тоже пока не знает английский, он любопытный и эмоциональный, с ним все время что-то случается. Он не поучает, а сопровождает детей в изучении языка.

– Теперь снова о приложении. Участвовала ли команда SberDevices в разработке самой игры? Или SberDevices предоставил вам документацию и регламенты для работы над приложением, которым вы следовали? Интересно узнать, как ведется проектная работа для интеграции одного продукта в экосистему другого.

Анастасия Никитина: – «Английский с Элом» – это одно из первых приложений, сделанных специально для SberPortal и набора Kidsar. Продукт должен был стать не просто обучающим помощником для детей, но и показать все возможности нового умного устройства Sber, привлечь к нему внимание детско-родительской аудитории. В разработку приложения была вовлечена не только компания Skyeng с ее методологами и дизайнерами KODE, но и команды SberDevices, Sber AR/VR Lab и Лаборатории геймификации Сбера.

Первые версии приложения тестировались KODE на ранних версиях SberPortal – продукт создавался параллельно с разработкой самого устройства. Конечно, не вся документация была готова. В этом состояла основная сложность – KODE приходилось идти местами на ощупь, давая обратную связь о работе платформы разработчикам SberDevices.

– Уау, это очень интересный опыт! А вы уже закончили работу над проектом, или планируются еще какие-нибудь дополнения к игре? Например, новые уровни, локации или что-нибудь еще.

Анастасия Рубель: – Пока у команды SberDevices нет цели масштабировать проект, поэтому какие-то нововведения не планируется.

– А как долго дети могут играть в ваше приложение, какие усредненные показатели продолжительности сессии?

Анастасия Рубель: – В среднем сеанс длится 14 минут, что очень немало.

– Теперь понятно, что можно считать хорошим бенчмарком AR-приложения для детей! А у вас нет планов создать другую версию игры для умных телевизоров на платформе Салют ТВ от Сбера?

Анастасия Рубель: – Таких планов нет. Важно понимать, что невозможно линейно перенести продукт на другие поверхности – например, на ТВ. Пользователи ТВ ожидают от гаджета совсем других функций, нежели от мобильного приложения или смарт-дисплея.

Кроме того, телевизор – это гаджет общего доступа, его могут смотреть сразу несколько членов семьи, вокруг могут быть посторонние шумы, поэтому если бы мы хотели адаптировать игру под ТВ-формат, нам пришлось бы сильно переработать механику и технологию.

– Поделитесь, пожалуйста, мнением о ваших коллегах: как вы узнали об IT-компании KODE и начали с ними сотрудничество?

Анастасия Рубель: – Мы знали, что у KODE есть экспертиза в разработке мобильных приложений. Проект для SberPortal – это APK-файл. По сути, Android-приложение. Кроме того, у ребят на момент старта проекта были все необходимые компетенции в VUI. Поэтому наш выбор пал на них и мы не пожалели. Ребята проделали большую работу.

– Что вы можете выделить в профессиональном подходе агентства? Что вам понравилось больше всего в работе агентства над приложением?

Анастасия Рубель: – Все участники этого проекта были настоящей командой, реализовавшей в сжатые сроки сложнейший технологический продукт. Могу сказать так: KODE можно доверять :)

– Чувствуется, что в работе над проектом все команды выложились на полную катушку. Скажите напоследок: какие советы вы бы дали родителям, которые хотят обучить английскому языку своих детей?

Анастасия Рубель: – Многое зависит от возраста ребенка, но есть универсальные советы. Главная задача родителя – не убить естественный интерес ребенка к изучению языка: не давите и не настаивайте, если ему трудно или очевидно скучно. Подумайте, как можно сделать процесс интересным для ребенка: возможно, стоит добавить игр? Или заменить наскучившие игры новыми? Еще можно добавить английский в рутинные действия: например, учить новые слова на прогулке или петь песни на английском.

Если ребенок занимается английским в школе или на дополнительных занятиях, понаблюдайте: идет ли он на уроки с удовольствием? Охотно ли выполняет домашние задания? Если нет, возможно, стоит сменить преподавателя или курсы. И, конечно, не пренебрегайте онлайн-образованием: возможно, именно этот формат поможет поддержать существующий интерес или возродить угасший.

– Понятно, спасибо за ответы! Теперь обратимся к KODE. Изучили сайт вашего агентства, увидели, что вы специализируетесь не только на разработке сайтов и мобильных приложений. Вы разрабатываете IoT-решения, а также голосовые интерфейсы для бизнеса. Скорее всего, подобная разработка для вас уже не что-то необычное, верно?

Юлия Мицкевич: – Да, все верно. У нас был опыт работы с голосовыми технологиями. Например, мы делали МЭШ.Алиса для Дневника московского школьника, Эру Фараонов – игру для изучения истории Египта и Финбо – курс финансовой грамотности для подростков.

– Понятно, а чем уникален именно этот проект? Какие задачи оказались для вас наименее привычными? Что в работе над проектом было самым сложным, а что – самым интересным?

Юлия Мицкевич: – Уникальность проекта в том, что над ним работали сразу три большие команды:

● KODE занимались разработкой, проектированием сценариев прохождения игры и механики игры, а также разработкой интерфейса и голосового сопровождения игры.

● Skyeng взяли на себя методологию обучения детей английскому языку с учетом возраста.

● SberPortal– это смарт-дисплей, на котором и должен был развернуться весь сервис. Команда SberDevices работала не только над самим сервисом, но и над механиками дополненной реальности.

Нам было важно учесть и синхронизировать компетенции всех команд-участников, чтобы выпустить идеальный проект для обучения детей.

– Очень здорово! Ставили ли вы какие-нибудь ключевые цели перед разработкой проекта? Например, если целями разрабатываемого сайта может быть повышение конверсии и увеличение лояльности аудитории, были ли подобные цели у приложения? Были ли они выражены в метриках?

Юлия Мицкевич: – Перед нами стояла цель – совместить игру и обучение английскому языку в одном приложении. Чтобы маленькие пользователи с интересом обучались, мы продумали игровые сценарии перехода между учебными блоками. Такая геймификация помогает детям не бросать изучение и с легкостью осваивать новое.

Оценить вовлеченность в игру помогает большое количество метрик. Чтобы все они четко и точно учитывались и аккумулировались, мы добавили фичи по сбору продуктовой аналитики в сам сервис. Это значит, что продуктовый аналитик может посмотреть вовлеченность участника игры, глубину его взаимодействия и другие «бенчмарки», необходимые для повышения эффективности взаимодействия участника с игрой.

– Вы научили игру понимать голосовые команды игроков – то есть детей. Возникли ли какие-либо дополнительные сложности в работе с алгоритмом по распознаванию голоса из-за того, что детский голос менее разборчивый и более высокий, нежели у взрослых людей?

Юлия Мицкевич: – Это не первый наш проект, где голосовой ассистент умеет распознавать голос, интонацию и особенности речи ребенка. Поэтому сложностей не было. Но, опять же, на своем опыте мы знаем, что и ребенок и голосовой ассистент могут понять не все, поэтому все шаги и требуемые действия мы выводили на экран в понятном для ребенка дизайне. То есть, если ребенок не понял персонажа, он может ответить ему, тапнув на нужную иконку на экране.

– Сколько времени суммарно ушло на работу над проектом? Много ли специалистов работало над ним?

Юлия Мицкевич: – Наша команда реализовала MVP за полгода, а через девять месяцев состоялся первый релиз. Над проектом работала сборная команда, примерно в 25 человек. В пике разработки, со стороны KODE на проекте работало 12 IT-специалистов.

– Приходилось ли вам самим играть в игру на SberPortal, чтобы протестировать работоспособность приложения?

Юлия Мицкевич: – Конечно :) Каждый раз, когда нам нужно было тестировать работу устройства и самого приложения, мы погружались в детство и с удовольствием общались с Элом.

Супер! Что ж, благодарим вас за участие в интервью, вы показали отличный проект! KODE, ждем вас на WDA 2024 :)