Реферальность как метрика роста образовательного продукта
На массовых онлайн-курсах (MOOС) процент завершивших обучение составляет 3-5%, на платных курсах доходимость составляет 20-40%, например, у Skillbox - 26% по словам Дмитрия Крутова, а на курсах с сопровождением может доходить до 70%, например как у Яндекс.Практикума или Skypro.
При этом офлайн зачастую показывает не лучшие результаты, так, даже при отборе на старте в ВУЗах, доходимость составляет порядка 75%, c учетом академов. Многие считают доходимость - главной метрикой образовательного продукта, но это не корректно.
Не стоит забывать, что образование лишь способ решения задачи студента (если мы говорим про взрослых учеников). Задачи, которая лежит за пределами курса/программы, задачи, для которой образование - лишь один из способов ее решения.
Например, человек получает 20к в месяц и хочет получать больше. Он может взять вторую смену, может найти подработку, таксовать после работы, а может пройти обучение и получить другую более высокооплачиваемую профессию. Мы сейчас, если что, даже не про ИТ, хотя это и опция, можно и ноготочки делать и реснички (посмотрите какой доход там, можно и в ИТ не идти).
Мы решили посмотреть на этот вопрос с разных точек зрения. Кто мы?
Миша Свердлов, CBDO университета рентабельных профессий Skypro, ex-content Director Skyeng, автор провокационного телеграмм-канала «Образование, которое мы заслужили»
Сергей Колосков, продакт-менеджера Ozon, консультирую продукты и продактов, преподает в Otus, проводит воркшопы по продуктовой разработке и ведет канал Fresh Product Manager c заметками, продуктовые инсайтами от практика рынка.
North Star метрика образовательного продукта
Давайте посмотрим на причины, зачем люди покупают образовательный продукт?
- потому что подарили
- социальное одобрение: не будешь иметь диплом ВУЗа не состоишься в жизни
- мама/бабушка сказали, что будет хорошо туда пойти (частая ситуация для вуза)
- Василий учится, чем я хуже-чтобы не пойти в армию (вуз для мальчиков)
- чтобы получить повышение по работе
- расширить компетенции, поднять свою ценность для компании и повысить доход
- сменить профессию
- назначили на работе
- хочу разобраться в новой для себя области (обычно хватает вводных блоков курса)
- знаю предмет, но нужен справочник для повседневной жизни
- хотел бы закрыть белые пятна в предметной области (буду проходить часть уроков/модулей)
- и еще сотня других причин.
Как вы понимаете, доходимость в части из них вообще не имеет никакой ценности для студента, значит априори странно ставить ее как якорную метрику.
Поэтому North Star метрикой я бы выбрал, например - реферальность.
Это доля новых учеников, которые пришли по рекомендации текущего (выпускника). Эта метрика на порядок лучше NPS, так как она выражается в деньгах, а не обещаниях. Студент уже привел нового, который купил, а не лишь обозначил свою готовность. Реферальность точно лучше COR, так как она про ценность, которую получил студент и готов быть адвокатом вашего бренда.
Часто Completion Rate называют NSM. Что такое метрика полярной звезды? Во-первых, это главная метрика продукта. Но почему? Потому что во-вторых, чаще всего это главная метрика его ценности. Итого, оправданность важности метрики может базироваться на двух причинах:
1) фокус развития продукта измеряемся в этой метрике
2) эта метрика измеряет ключевую ценность продукта
Вторая причина легко челленджится и убивается вопросом:
- Решение какой проблемы (задачи) пользователя измеряет метрика COR?
Реферальность даже лучше трудоустройства, так как трудоустройство не приносит вам денег. А коммерческая компания создана для того, чтобы извлекать прибыль из своей работы, а не гладить свое ЧСВ или ЧСВ фаундеров.
Как вы понимаете, доходимость для вообще не имеет никакой ценности для студента, значит априори странно ставить ее как якорную метрику.
Поэтому North Star метрикой я бы выбрал, например - реферальность.
А может быть, это могла бы быть метрика - кол-во продуктов на 1 клиента (повторные продажи). Если она больше единицы - значит, вы даете реальную ценность и клиент вам доверяет. Естественно, я бы рассматривал не повторную покупку того же самого курса, а следующий уровень или связный навык. Например, сначала ученик покупает профессию аналитик данных с нуля, а потом, уже после трудоустройства выпускник понимает, что ему для работы важно более детально погрузиться в python, A/B тесты, ML и он докупает релевантные модули.
Надо ли измерять NPS? Конечно! Нужно ли делать опрос CSI? 100%! Помогать выпускникам с трудоустройством? Хуже не будет точно.
А еще:
- знать доход выпускников и помогать растить его
- считать процент возвратов
- и еще добрый десяток метрик, которые важны на этапах CJM студента.
Ну, а что с COR то?
Скидывать ли доходимость вообще со счетов? Точно нет. Это важная метрика, мы называем такие метрики опережающими. Она хорошо может подсказывать заранее, будет ли реферальность и какая. Будет ли трудоустройство и должно ли оно случиться вообще. И раз мы так много про нее говорим, давайте посмотрим, что на COR может влиять, то есть декомпозируем эту метрику до факторов, с которыми можно работать.
Отбор на входе
Александр Ларьяновский сформулировал отличную мысль, которая мне откликается:Говорят, что EdTech-компании могут поучиться у традиционных университетов умению отбирать студентов. Чем лучше высшее заведение, тем жестче туда отбор. Да и в целом для бизнеса умение отличать «своего» клиента — полезный навык.
Но если вдуматься, то получается, что вузы выбирают, кого учить, не от силы, а от слабости. Очевидно, что мир, где Гарвардский университет или ВШЭ могли бы обучить всех, был бы лучше, чем мир, где они обучают лишь избранных.
Это происходит от неумения масштабировать услугу на большую аудиторию. Задача, которую должны ставить амбициозные образовательные бизнесы — построить легко масштабируемую систему, работающую для большинства.
Уровень сложности.
Контент должен быть подходящего уровня сложности: анкетируем, тестируем, общаемся и опрашиваем. Если нужно — проводим предварительную подготовку студента, чтобы выровнять его в необходимый уровень. Особенно это важно, если по каким-то причинам на курсе встречаются студенты разного уровня подготовки. Одних нужно подготовить, подтянуть с точки зрения знаний. Перед каждым курсов важен квалифицирующий блок.
Ожидания и реальность.
Обещаете контент на 120 часов, персонального наставника, практику на реальных проектах — делайте. Не гарантируйте трудоустройство, это не в вашей власти и сложно осуществимо.
Темп и нагрузка.
Образ жизни ваших студентов, сколько времени они готовы уделять учебе, в каком темпе проходить занятия и делать задания, как часто и долго общаться с наставниками и однокурсниками.
Время просмотра контента.
Платформа должна быть удобной, чтобы обеспечить студенту «бесшовный» переход между гаджетами. Начал проходить занятие на ноутбуке на работе, поехал домой — переключился в дороге на мобильный, а дома — на планшет. Всё должно быть комфортно, без необходимости каждый раз отматывать контент до нужного места.
Количество выполненных домашних заданий.
Чем больше заданий выполняют студенты, тем лучше усваивают материал. Давать задания подходящей сложности, соответствующие уровню подготовки студентов. Не задавать слишком громоздких заданий, по возможности, декомпозировать их. Ставить дедлайны на выполнение и давать персональную обратную связь. Использовать рейтинги и подключать эффект соревновательности.
Качество усвоения материала.
Обеспечьте оптимальный режим повторения, в том числе с помощью небольших вопросов и тестов.
Активность участия в обсуждениях.
Чем больше студенты дискутируют и спорят друг с другом, тем глубже погружаются в тему, лучше запоминают материал. Как мотивировать однокурсников к общению? Сделать чат группы в мессенджере, провоцировать профессиональные споры, модерировать дискуссии, делиться дополнительными материалами, спрашивать и давать рекомендации.
Проблема "пройти курс до конца выглядит", как слабая гипотеза о ценности курса.
Судите сами. Вы бы хотели достичь свои образовательные цели до завершения курса? Если Ваш личный COR=50%, но курс дал то, за чем Вы шли? Думаю, да. Однако метрика будет заставлять команду курса «мариновать студента».Так ли она хороша? Уже очевидно, нет. COR скорее всего не ключевая метрика ценности Вашего образовательного продукта.
Однако если Ваша продуктовая стратегия в том, чтобы делать UPSALE и Вы выяснили, что COR - прокси-метрика конверсии в покупку ещё одного курса, то почему бы и не использовать её как главную.
Главное, понимать зачем и почему.
На прошлой неделе я задал вопрос у себя в Facebook “Какие факторы по вашему мнению влияют на COR?”
Что ответили образователи и продакты из EdTech:
Автор:
- личность и харизматичность преподавателя
- структура подачи материала, эмоциональное вовлечение
- соответствие эксперта/преподавателя/тьютора уровню ученика (желательно чтобы эксперт был в зоне ближайшего развития ученика, в противном случае сильные коммуникационные провалы и отказ от обучения)
- наличие коммуникации с живым сопровождающим человеком
Сопровождение:
- поддержка студентов по ходу программы
- сервисная поддержка 24/7 (максимально быстрые ответы на технические проблемы и вопросы относительно учебного процесса)
Программа:
- баланс теоретических и практических заданий
- доля материала на ближайшую зону развития
- групповое взаимодействие
- разнообразие, количество разных форматов
- наличие открытых заданий
- количество (и %) основных тем покрытых разными типами объяснений
- актуальность темы
- понятный и четкий результат каждого модуля/блока обучения связанный напрямую с текущими JTBD ученика
- Маленькие «победы» на каждом этапе/модуле/блоке курса
Образовательное пространство:
- активность и качество коммуникации однокурсников
- pre-study activities, в основном про как учиться учиться
- механики быстрых учебных контрактов из спорта, например, механики prep talk & self talk
- изменения в расписании
- «платформа неудобная», «ничего не понятно, не могу зайти, а тут не работает»
- структура и модель обучения (соотвествие учебной нагрузки обучающегося, модели обучения, форматов и заданий, его day to day activities, те вписывание обучения в текущие сценарии ученика)
- поддержка группы и нетворкинг, для ощущения «я не один такой»
- создали пространство безопасного задавание вопросов и научили задавать вопросы
- ретроспективы
- приглашение выпускников, внедрение ритуалы
Цели на входе и ценность:
- управление ожиданиями аудитории на входе
- четкое целеполагание и мотивация ученика «чтобы что»
- понимание учеником применимости получаемых знаний
- цена (насколько это «инвестиция» для обучаемого), если «по цене чашки кофе» то и отношение такое - могу не допить
- Акцент на сформированном навыке
- понимание, что этот курс нужен в первую очередь самим студентам
Наверняка мы учли далеко не все. Предлагайте свои метрики для образовательного продукта и факторы, влияющие на доходимость.
Кстати, если интересен свежий взгляд на образование, EdTech и на то, как делать образование как продукт, то буду рад видеть вас в своем канале «Образование, которое мы заслужили» .
Лайк, шер, вот это всё
Спасибо, интересный материал.
Корректуру текста ещё сделайте, и не стыдно будет делиться ;)
Ой, опечатки пропустил?
Вроде поправил 2-3 штуки. Спасибо
Спорно "не могут масштабировать Вузы услугу на большую аудиторию". Скажите это вшэ, мгу, тому же гарварду. С чего это не могут? Все Егэ сдают ради 10 вузов.
Давайте начнем с того, почему вы считаете, что все сдают ЕГЭ ради 10 вузов в стране?
1. Все выпускники сдают ЕГЭ потому, что это обязательно, тут ведь нет спора?
2. Если поизучать статистику, то более 80% не знают куда пойдут (а пойдут туда куда пройдут)
3. Чтобы зявлять, что ради то стоит подкрепить это чем-то с цифрами
Теперь, почему не могут масштабировать.
1. Так как не сложно взяв лучших привести их к еще большим результатам, это податливая хорошая глина из которой и лепить то часто ничего не нужно
2. Сложнее взять всех пришедших и довести до конца и дать им результат за пределами курса, согласны?
Лайк за труд и полезный материал, но даже с той же реферальностью могут быть проблемы, например, что если в окружении студента просто нет людей, которым интересна тема его образовательного курса? Ему просто некому рекомендовать, хотя обучение само по себе хорошее.
Самый универсальный показатель в образовании - это умение решать задачу и приобретенный навык. Если студенту обещали научить А/Б-тестам, но после курса он все делает через задницу, то это соответствующее качество обучения. Здесь метрики доходимости и реферальности могут помочь, но это в целом это кринж, если студент как был олухом до обучения так им и остался им после, каким бы довольным он не был и сколько бы рекомендаций не дал.
Кстати, в обучающих местах, где люди действительно достигают результаты, условные школы спортивного резерва или даже где готовят ко всяким интеллектуальным чемпионатам вроде математики, там доходимость же маленькая (про реферальность вопрос, но думаю, что тоже несильно прокаченный показатель), потому что не каждый выдерживает обучающую нагрузку, но навыки на выходе получаются отменные.
> Лайк за труд и полезный материал, но даже с той же реферальностью могут быть проблемы, например, что если в окружении студента просто нет людей, которым интересна тема его образовательного курса? Ему просто некому рекомендовать, хотя обучение само по себе хорошее.
Резонно, тут я исхожу из того, что по опыту, люди чаще стадные животные (это не обидно если что), и они обитают среди себе подобных. Именно поэтому часто сложно вырваться, если нет примера, ролевой модели рядом (это на наших опросах отмечают более 90% из 700 респондентов из региона из семей с доходом до 25к).
То есть если ты что-то делаешь, обычно есть кому рассказать, замотивировать и привести. Но согласен, что бывают и сложные случаи.
>Самый универсальный показатель в образовании - это умение решать задачу и приобретенный навык.
И часто такое бывает. Что потом все "через задницу". Поэтому я верю в длительные взаимоотношения. Например, когда мы в Skypro коммитимся в результат выпускника в жизни, делая это через модель ISA, когда мы получаем оплату обучения только тогда, когда выпускник получает зарплату выше 50к в месяц. И тут мы в первую очередь заинтересованы не просто в трудоустройстве и высокой оплате на старте, а еще и успешном прохождении испытательного срока и росте ЗП в первые 2 года
>Кстати, в обучающих местах, где люди действительно достигают результаты, условные школы спортивного резерва
Ну вы говорите, если я правильно слышу, про:
- жесткий отбор
- подготовку звезд-единиц, а школа и вуз все же масс-маркет
Статья класс, но посыл не верный. Утверждение, что доходимость как метрика для оффлайн Вуза не важна, странное. Вуз хоят закончить, чтоб было свидетельство того, что ты не идиот и способен частично к обучению и работе. Поэтому важно не поучиться, а ДОучиться. И это блин важная метрика