Как данные помогают принимать правильные решения: восемь способов улучшить продукт

При разработке продуктов мы принимаем все решения, основываясь на данных. Они помогают создавать новые востребованные курсы и улучшать уже существующие, делать меньше ошибок и сокращать стоимость разработки.

На примере курса по планированию и достижению целей «Успею всё!» расскажем о том, как data-driven-подход помогает нам на каждом этапе создания продукта. Как правило, в начале разработки мы проводим глубинные интервью, фокус-группы и количественные исследования, а выкатываем новый продукт и вносим изменения с помощью А/В-тестирования.

Успех курса по программированию показал, что у пользователей есть запрос на внешкольные курсы. Мы решили расширить линейку и выпустить еще один подобный продукт. А чтобы определиться с темой, провели ряд исследований.

Изучили рынок и выделили интересные и часто встречающиеся околошкольные темы образовательных продуктов. Рассматривали российские и зарубежные проекты. В поле нашего зрения вошли как продукты крупных образовательных компаний-конкурентов, так и монопроекты и материалы энтузиастов.

Параллельно с анализом рынка мы проводили глубинные интервью с нашими потенциальными и реальными пользователями: школьниками, их родителями и учителями. Мы хотели узнать, чем интересуются и занимаются ученики 1–4 классов вне школы, что смотрят, читают, посещают, во что играют и чем хотели бы заниматься.

В первичный список попало 70 тем, 15 из которых вошли в шорт-лист по итогам пользовательских интервью.

Из 15 тем выбрать единственно верную сложно. На рынке почти не было подобных продуктов — мы могли опираться только на собственные данные.

Сделать осмысленный обоснованный выбор нам помог ряд количественных исследований.

Сначала мы запустили онлайн-опрос: показали родителям детей, которые уже занимаются на Учи.ру, 15 тем новых курсов и предложили выбрать по пять наиболее и наименее привлекательных.

Во втором опросе попросили выбрать одну тему из пяти. По его результатам преобладали два направления с минимальным разрывом:

Далее мы запустили лендинг с предзаказом сразу двух курсов.

Курс по планированию получил больше оплат предзаказов — его мы и запустили в производство. Предоплаты по проигравшей теме вернули.

Дальше мы пытались понять, действительно ли новый продукт нужен пользователю. К тому же всегда есть риск, что новый курс перетянет внимание на себя, каннибализирует часть выручки от других курсов и снизит частоту покупок пакетных предложений, потому что закроет собой потребности аудитории.

Запустили новый курс A/B-тестом на 80% учеников 1–5 классов, исключили тех, кто уже сделал предзаказ. Такой большой процент пользователей с меткой target обусловлен тем, что результаты предзаказа уже показали высокий спрос на курс. Недочеты мы смогли бы быстро исправить, так как в первых релизах всегда катим небольшую часть контента.

По итогу тестирования получили статистически значимый прирост почти в 3% по ARPU. Наша уверенность в правильном выборе темы курса подтвердилась.

В каждом платном курсе мы оставляем небольшой триал — обычно это первые части или задания. На момент релиза были готовы две части (мы называем их комнатами) из семи — остальные стали доступны в течение нескольких месяцев. Пэйвол (момент оплаты) мы установили в середине второй части курса. Однако он создавал у пользователей впечатление, что оплата курса откроет третью комнату — это вызывало непонимание и негативные обращения в поддержку.

В рамках А/В-тестирования разместили пэйвол сразу после первой комнаты. После оплаты пользователь проходил задания во второй части курса и лояльно относился к информации о том, что третья пока еще находится в разработке.

Конверсия в покупку увеличилась, а ARPU повысился на 2% — это существенно.

Изначально страница курса была минималистичной — структура в виде комнат и кнопка «Купить». По нашей гипотезе, на ней не хватало детальной информации, родители и дети не до конца понимали, зачем им покупать «Успею всё!».

Запустили А/В-тест с новой версией лендинга, в которой добавили:

Карта курса не давала достаточно информации для понимания его объема и содержимого — некоторые ученики не понимали, о чем будет каждый раздел и сколько времени потребуется, чтобы все пройти.

Чтобы донести до школьников ценность курса, мы доработали визуал. Сделали превью — при наведении курсора на комнаты проигрываются анимации с примерами заданий. На этих гифках мы изобразили самые интересные кадры из комнат и показали, что внутри локации по экрану можно перемещаться.

A/B-тест показал правильность такой идеи. Ребятам понравилась эта фича, яркие кадры вызывали любопытство и желание попасть внутрь игры. В тестовой группе вырос процент детей, которые научились перемещаться по локациям и запускать незаметные анимации-пасхалки.

Новости о релизах новых комнат мы отправляли родителям — не все из них передавали эту информацию детям. Большинство ребят узнавали о новых заданиях, когда сами заходили в курс.

Писать о релизах в чате класса внутри Учи.ру. Выкатили фичу А/В-тестом. За время теста несколько раз отправляли анонсы и триггеры в чаты учеников тестовой группы.

Тестовая группа значимо выиграла. Однако этот инструмент мы не использовали в дальнейшем, но результаты передали для изучения команде разработки чата и других инструментов социализации.

Новое знание с большей вероятностью превратится в навык, если закрепить его на практике. Курс можно просто пройти как игру, а можно перенести инструменты в реальную жизнь. С этим мы и решили помочь ученикам.

Мы разослали тестовой группе пользователей электронные письма с вложенными в него файлами для распечатки, а контрольной — просто информационные письма о курсе.

В тестовой группе процент открытия писем и click to open rate оказался выше, а процент отписки от рассылки — меньше, поэтому мы добавили оффлайн-материалы в курс. Около 45% учеников скачивают распечатки.

Но главный результат — фидбэк от детей. Мы видим, что ребята публикуют в соцсетях, как расписывают свои дела в наших распечатках.

Data-driven-подход помогает валидировать разного рода решения по улучшению образовательного продукта:

Данные разных типов помогают обнаружить проблемы и найти их решения. Источниками могут стать:

1. Информация, которая хранится внутри компании:

2. Инсайты от пользователей:

3. Данные экспериментов: