Основные принципы работы с данными и метриками в EdTech

Учи.ру рассказывает, какие типы данные собирать, чтобы делать образовательные онлайн-продукты лучше.

Если вы начинающий продакт-менеджер в сфере онлайн-образования, то наверняка задумывались, какие данные о продукте собирать и какие метрики отслеживать. Метрик целое множество. Их можно группировать по категориям: например, продуктовые и маркетинговые метрики. А можно — по целям, которых они помогают достичь: например, привлечь или вернуть пользователей, монетизировать продукт. Продакт-менеджер Учи.ру Диана Колесникова делится своим подходом к работе с данными и метриками в сфере онлайн-образования.

Одна из наиболее известных попыток систематизировать анализ данных в образовании принадлежит Дональду Киркпатрику. В 1950-х годах он создал модель оценки качества корпоративного обучения. Многие современные эксперты продолжают ориентироваться на сформулированные Киркпатриком принципы.

Модель состоит из четырех уровней:

На первом уровне анализируется общее впечатление учащихся от образовательного процесса.

Второй уровень связан с объективной оценкой полученных знаний и навыков с помощью тестов.

На третьем — оценивается умение применять знания на практике.

На четвертом анализируется результат: насколько изменения в поведении работников положительно влияют на организацию.

Многие специалисты, которые занимаются оценкой качества образовательных продуктов, адаптируют эту модель под разные задачи и продукты. С помощью модели Киркпатрика мы оцениваем впечатления и приобретенные знания во время и после прохождения курса Учи.ру «Космическая печать» по слепому набору текста. Используя форму обратной связи, можно узнать, нравится курс детям или нет. Анализ данных о скорости печати и количестве ошибок, которые платформа собирает автоматизировано, указывает на степень сформированности навыка.

В сфере EdTech на текущий момент нет единой классификации данных и метрик. В своей работе я ориентируюсь на три типа данных: бизнес-показатели, данные о программе и поведении учеников. С помощью различных метрик я отслеживаю значимые для меня показатели как до запуска образовательной программы, так и после того, как продукт раскатан на всех пользователей Учи.ру.

Анализ этого типа данных, связанных с прибыльностью продукта, позволяет при необходимости корректировать маркетинговый план, например, тестировать новые каналы привлечения пользователей, вносить изменения в модель монетизации, принимать решения о разработке дополнительных курсов и внедрении технических решений.

Метрики, которые помогают отслеживать параметры, влияющие на выручку:

Второй тип данных, которые анализируют продакт-менеджеры, связан с продуктом, а именно с качеством контента. Они помогают принимать решения, какие задания стоит переделать, где необходимо увеличить или уменьшить трудность, ввести новые повороты сюжета в курс или изменить дизайн.

После запуска курса «Космическая печать» мы проанализировали первые данные и обнаружили, что на определенных уровнях пользователи совершают много ошибок и часто проваливают миссии. В отзывах многие отмечали, что курс начинается со слишком сложных заданий.

На основе полученных данных мы вносили изменения в продукт. Скорректировали уровень сложности некоторых заданий. В одном случае замедлили движение виртуального противника, чтобы у ученика было больше времени на ввод букв.

В другом — сократили буквенные комбинации на начальных уровнях курса до двух букв вместо восьми.

Добавили кластер уровней для более удобной навигации по курсу.

Специфических и устоявшихся метрик для оценки качества контента не существует. До запуска курса эту задачу можно решить с помощью внутренней экспертизы либо делегировать внешним специалистам, которые оценят программу по определенным критериям. Например, на соответствие заданий ФГОС, критериям оформления текстов и качеству заданий.

После запуска курса у продакт-менеджера появятся данные о поведении и реакции пользователей, на основе которых сложится еще более полная картина о качестве контента и уровне сложности заданий. Помогут такие метрики:

В Учи.ру мы постоянно собираем статистику по лайкам и дизлайкам к каждому заданию внутри курса.

Другие метрики, которые полезно отслеживать после запуска курса, связаны с трудностью заданий, затраченным на них временем и количеством попыток, которое в среднем нужно ученику для решения задания.

Данные о пользователях полезно собирать и до запуска курса, и после. До разработки программы полезно провести опрос или интервью, насколько та или иная тема востребована среди аудитории, какие образовательные потребности есть у учеников, например, в начальной школе. С помощью CustDev-исследования команда Учи.ру выяснила, что многим школьникам задают делать уроки на компьютере и самостоятельно набирать текст. Таким способом мы подтвердили гипотезу о востребованности курса по обучению методу десятипальцевого набора текста «Космическая печать».

После того как ученики начнут проходить курс, можно собирать и анализировать статистику, уровень прогресса и необходимость поддержки учащихся при выполнении определенных заданий. С помощью этих данных можно вовремя определить учеников «в зоне риска» и скорректировать курс, чтобы их удержать. Например, наладить обратную связь, оказать методическую поддержку или внести содержательные изменения в программу.

Все типы данных — об учениках, образовательных программах и бизнес-показателях — тесно взаимосвязаны и анализировать их стоит в совокупности. Образовательный результат и впечатления сильно зависят от качества контента и напрямую влияют на доходимость курсов, возвратность и, в конечном счете, на бизнес-показатели.

Если ARPU выросло на 5%, а DAU/MAU держится на уровне 30%, хорошо это или плохо? Не зная контекста, продукта и целей, ради которых эти данные собираются, ответить на этот вопрос невозможно. Сами по себе данные не представляют большой ценности. Анализ и интерпретация — вот что заставляет их работать. До сбора и анализа данных полезно ответить на вопросы:

Остановимся на каждом вопросе подробнее. Самый первый шаг — определить, зачем мне нужны данные, на что с их помощью я хочу повлиять и какие рычаги воздействия у меня есть. Как продакт-менеджер я хочу повлиять на выручку компании, доработав курс «Космическая печать». Собранные данные мне подскажут, как можно добиться цели. Например, я смогу решить, нужно ли дополнительно разрабатывать новые фичи, внедрять более сложные уровни и адаптивную сложность заданий внутри тренажера.

Далее полезно понять, какие из полученных данных прямо или косвенно свидетельствуют в пользу того или иного решения. На этом этапе стоит сформулировать гипотезы, которые предстоит опровергнуть или подтвердить, и выбрать бенчмарки, на которые мы будем ориентироваться при анализе. В случае с образовательными игровыми курсами можно найти аналогичные данные о компьютерных играх для desktop и по ним определить, например, оптимальный для нашего продукта показатель Retention.

Следующий этап — организовать сбор необходимых данных. В EdTech проектах сам процесс сбора автоматизирован, так как им занимаются аналитики и разработчики. В случае с офлайн образовательными проектами или онлайн-курсами, которые выкладываются на сторонних платформах, сбор данных требует дополнительных усилий от продактов или методистов. Как правило, на помощь приходят анкеты и телефонные интервью.

Важно заранее подумать о способе представления данных и с помощью каких инструментов и методов они будут анализироваться. Иногда аналитики могут прислать просто выгрузку цифр за месяц и для большей части команды такое представление данных будет неудобным и бесполезным. Поэтому стоит предварительно обсудить с аналитиками и продуктовой командой, должны ли данные выгружаться в специализированную программу или достаточно таблицы в Excel. Успех работы с данными чуть ли на 50% зависит от того, в каком виде они попадут членам команды, ответственным за принятия решений.