Методология будущего: как цифровизация меняет работу методистов

Любая EdTech-компания стремится к тому, чтобы студенты проходили курсы до конца и были довольны результатом. За это отвечают методисты, важная часть работы которых — это сбор и анализ данных из разных источников. Они улучшают контент, мотивируют студентов и делают их обучение комфортнее и эффективнее.

Валентин Пановский, руководитель отдела обработки данных в Skillbox, рассказал, как создать систему аналитики для методистов, чтобы им не приходилось долго кастдевить студентов, тонуть в рутине и бесконечных сверках данных, чтобы они могли сконцентрироваться на более важных и смысловых задачах.

У Skillbox много курсов по разным направлениям обучения. Нам не только важно следить за тем, чтобы содержание было качественным и несло студентам практическую пользу, но и делать его доступным. Возьмём для примера учебники по матанализу: в одних тебе сразу дают все формулы, и это безумно пугает, в других учат постепенно, и студенты разбираются в предмете, перестают его бояться.

Мы занимаемся индустриальным образованием, наши преподаватели — практикующие специалисты из разных компаний. Но если человек крутой профессионал, это еще не гарантирует, что он сможет правильно всё подать. Когда эксперт работает над курсом один, ему трудно сделать материал усваиваемым. Есть когнитивное искажение — когда кто-то долго «варится» в своей сфере, ему кажется, что предмет простой. Это наблюдается у многих: дизайнеров, программистов, маркетологов и других. Поэтому крайне важна роль методистов, которые помогают экспертам разрабатывать учебный материал и правильно подавать контент, чтобы всё было последовательно, и к примеру, среди урока не встретился термин, не озвученный раньше.

Но работа методиста не заканчивается на запуске курса, когда контент готов и люди учатся. Его задача — следить, закрывает ли материал цели студентов и бизнеса. Методист определяет, когда курс пора обновлять или где его можно улучшить.

Работа методиста в EdTech-проектах всегда связана с аналитикой, так мы имеем дело с цифровым контентом. Без неё непонятно, как управлять качеством контента, следить за успеваемостью групп и вовремя замечать проблемы — например, что в курсе много теории, а студентам не хватает практики.

У методистов есть классические исследовательские инструменты — например, опросы и глубинные интервью, а также работа с метриками оценки обучения. Это два взаимосвязанных аспекта их деятельности: они формулируют гипотезы, а затем проверяют их с помощью двух этих наборов инструментов. Для более быстрой и качественной работы методистов необходима оцифровка всех процессов — такая возможность появилась вместе с развитием инструментов аналитики и LMS.

Пять-десять лет назад это был обычный сервис с административной панелью и системами для хранения данных — в одних хранился контент, в других — прогресс студентов. А сейчас LMS превратились в мощные ИТ-решения со сложной архитектурой: к ядру с основными функциями добавились дополнения — например, платформы для вебинаров, медиапорталы, решения для управления документацией и т.п.

Такие системы большие и разнородные, а значит, даже в отдельных частях LMS подходы к хранению данных могут отличаться.

Итак, каждый из компонентов LMS генерирует большое количество интересных данных об образовательном процессе. А значит, методисту приходится работать с разным представлением данных в разных частях системы. Это сложно и неудобно: приходится привыкать к не очень похожим интерфейсам и вручную сводить информацию из них в одну табличку, чтобы найти полезные инсайты или разобраться в каких-то проблемах. Или каждый раз идти к аналитикам за информацией.

Однако если грамотно собрать все эти данные, очистить, привести к единому знаменателю, поместить в понятный и наглядный дашборд с графиками и цифрами, то методист может проверять свои гипотезы быстрее и принимать решение об исправлении курса оперативнее.

Поэтому мы решили собрать все данные, с которыми работает методист, объединить их и сделать удобную систему для их анализа. Что мы сделали?

Сначала определили список баз данных, которые используются в разных частях нашей LMS: MySQL, MongoDB, ClickHouse, PostgreSQL и несколько сервисов, которые предоставляют доступ к своим данным через API — в основном, CRM-системы и решения для сбора отзывов.

Теперь эти данные нужно объединить в Data Lake (“озеро данных”) — нам понадобились ETL-системы (extract, transform, load). Мы выбирали между Apache Airflow и Prefect и остановились на последней, потому что она имеет меньший порог вхождения для специалистов с бэкграундом аналитиков, а не разработчиков. Движком нашего Data Lake стал Dremio — он позволяет использовать SQL для доступа к большому количеству источников данных, включая NoSQL-решения.

Когда мы начали наполнять витрину данных, интегрировали движок dbt и стали выбирать систему для визуализации. Рассматривали проприетарные Tableau и Qlik, но они дороже и интеграция с ними могла затянуться. Поэтому остановились на опенсорсном фреймворке Streamlit — он написан на Python, что предоставляет большие возможности для визуализации данных.

В итоге получилась такая архитектура:

Data Lake мы запускали в несколько этапов:

• развернули движок «озера данных» — Dremio;
• проверили его на тестовых данных;
• выбрали источники, откуда берём данные;
• связали их ETL-системой Prefect;
• внедрили dbt для структурирования данных;
• подключили Streamlit для визуализации.

Система заработала бесшовно, пользоваться ею было очень удобно. Затем вместе с методистами мы определили, какие метрики для них наиболее важны и как их лучше визуализировать. В сущности, визуализация — это одна из самых важных вещей в цифровом помощнике, потому что именно она помогает увидеть корреляции между разными метриками.

Есть две ключевые метрики, которые позволяют понять, доволен ли студент качеством курса, и готов ли он учиться дальше — это индекс удовлетворённости клиента (CSAT) и конверсия.

Зная время прохождения и количество итераций, мы определяем, сколько сил у студентов уходит на каждый модуль, и как долго они делают домашнее задание. Это помогает понять, достаточно ли в курсе информации, и легко ли она усваивается.

В итоге мы собрали набор метрик и выстроили на основе их единую систему данных, к которой может обратиться любой методист, если хочет оценить или изменить курс:

• CSAT (Customer Satisfaction Score) - индекс удовлетворенности клиента. Метрика даёт основной ответ на вопрос: «Насколько студент удовлетворен?»;
• Конверсия - доля тех, кто закончил прохождение контентной единицы от всех, кто приступал к прохождению этой единицы;
• Время прохождения - разница между датой завершения модуля и датой его начала. Здесь не учитываются модули, которые смотрели нелинейно, потому что они искажают результаты;
• Количество итераций - число попыток сдать урок определённого курса;
• NPS (Net Promoter Score) - индекс потребительской лояльности. Показывает отношение учеников к продукту, сайту или компании и помогает выяснить, с какой вероятностью он посоветует сервис друзьям и коллегам.

Цифровизация и правильная визуализация данных в цифровом помощнике упростила работу методистов, добавив больше возможностей для количественных подходов к исследованию курсов. Ведь все понимают, что качественное исследование (глубинные интервью, опросы) — это энергозатратное мероприятие. А если еще и количественное исследование усложняется за счет неудобной системы сведения данных — то работа методиста превращается в непосильный труд. Эти проблемы и решил цифровой помощник.

Опросы среди студентов, глубинные интервью, просмотры видео методистом всё ещё проводятся, однако они теперь подкреплены удобной системой с цифровыми данными. Если раньше всё растягивалось во времени, то теперь методисты просто открывают цифровой помощник, видят данные по нужным метрикам и понимают, как решить проблему: переставить модули, дать студентам больше времени, какие видео вообще не показывать и т.д.

В Streamlit есть разные способы визуализации, поэтому методисту легко понять, есть ли корреляция между метриками или какой прогресс у последней когорты, которая попала в эксперимент. Это уже не просто визуализация для отчета, а история о том, как методист видит результат своей работы в цифрах.

Спустя полгода после внедрения системы мы заметили, что индекс удовлетворенности клиентов (CSAT) на разных направлениях вырос на 2–10 процентных пунктов.

Вообще, любой бизнес — это всегда про конфликт между менеджерским опытом и data-driven-подходами. Однако когда у вас очень много курсов, остро встаёт вопрос автоматизации и перехода на data-driven. Просто потому, что при таких объемах менеджер уже не в состоянии эффективно планировать и удерживать в голове нюансы по запуску или улучшению каждого курса.

А цифровизация как раз позволяет оптимизировать весь процесс в долгосрочной перспективе, сделать его более контролируемым и отслеживаемым, чтобы команда жила в едином прозрачном для всех поле и действовала в соответствии с понятной для всех логикой: какое решение принимается, по каким правилам и на основе каких метрик.

Однако на этом пути есть и подводные камни — например, серьёзное расхождение между классической работой методиста и тем, что предлагают data-driven-подходы. После запуска системы мы заметили, что пользовательская активность цифрового помощника довольно низкая. Поначалу методистам было непривычно работать в системе, поэтому мы провели серию внутренних вебинаров об особенностях сбора каждой метрики и решениях, которые можно принимать на их основе, это решило проблему.

И в завершение — краткое саммари. Упростить работу методистов и сделать их независимыми от аналитиков может каждая EdTech-компания — даже с отличающимися от нашей LMS и процессами. Чтобы этот переход прошёл максимально гладко и дал эффект, рекомендую действовать по такому плану:

• Определите потребности методистов: какие метрики они считают, как работают с контентом и экспертами, и где ручные процессы можно автоматизировать.
• Изучите инфраструктуру: в каких базах данных и сервисах хранится нужная информация и как их оттуда извлечь.
• Выберите ETL-систему: она свяжет все источники и будет передавать данные в Data Lake.
• Выберите движок «озера данных»: лучше, если он будет простым в поддержке и не потребует специалистов с экзотическим стеком.
• Определитесь с системой визуализации: это UI для всего решения, поэтому от неё зависит, насколько методистам будет удобно работать с данными.
• Запустите систему: свяжите сервисы с источниками данных и протестируйте их работу.
• Обучите методистов и аналитиков: наладьте процессы и научите сотрудников пользоваться новым решением.

LMS — от англ. learning management system, система управления обучением.

API — это набор правил, по которому разные приложения могут общаться между собой. Простая аналогия: зная, какой язык имеет статус государственного в определённой стране, вы сможете получать информацию от её жителей (например, спрашивать, как пройти в библиотеку и сколько стоит хлеб).

Data Lake («озеро данных») — подход к хранению необработанной, неструктурированной и разрозненной информации из разных источников: таблиц, писем, документов, видео, аудио и др.

ETL-системы помогают собрать данные из разных источников, очистить их, привести к единому стандарту и загрузить в хранилище данных.

Dremio — техническое решение для «озера данных». Даёт возможность получать прямой доступ к информации с помощью похожих на SQL запросов, даже если данные получены из NoSQL-базы.

В NoSQL базах данных информация хранится не в упорядоченных строках, а в колонках, графах, документах и других необычных представлениях.

dbt — SQL-фреймворк, на котором строят конвейеры работы с данными: управляют процессом того, как данные собираются, очищаются и попадают в систему назначения.