Как и зачем мы решили отслеживать эффективность онлайн-курсов

Четыре года назад, когда еще не было дикого ажиотажа вокруг дистанционного обучения, как и такого количества негатива от недовольных родителей и школьников, мы создали продукт, который контролирует качество онлайн-образования.

Рассказываем, зачем это нужно, как мы к этому пришли и как это работает.

Все началось довольно тривиально. Наша компания на тот момент больше 10 лет разрабатывала дистанционные курсы для крупных корпоративных университетов. Долгое время мы пытались отслеживать результативность разработанного нами обучения вручную: спрашивали у заказчиков, собирали доступную информацию из обучающих систем и т. д. Мы также придумывали разные способы, в том числе обходили систему постройкой собственного ресурса хранения и передачи данных. Но все эти решения были точечными и кастомными, мы не могли их масштабировать.

Более того, полного понимания, какой эффект дает обучение, так и не появлялось. То есть мы не могли четко измерить результативность нашей работы. С одной стороны, мы получали положительные отзывы от заказчика и учащихся, но все равно чего-то не хватало.

Именно поэтому мы решили начать разработку собственной системы, которая будет фиксировать действия учащихся в онлайн-курсе и выводить некую аналитику. Так началась история первой в России системы аналитики BigData в онлайн-обучении — «Курсометр».

Главная задача и миссия продукта — возможность научиться понимать возврат инвестиций в обучение. Если честно, этот вопрос является мейнстримом в e-learning, но пока никто так и не дал на него ответа. Чтобы контент изучали, неважно, в каком формате (это могут простые тексты), нужно понимать, насколько он интересен, необходим и приемлем для текущего уровня знаний пользователя. Для этого и существует «Курсометр», который с помощью данных подтверждает эту теорию.

Дабы исключить любые ассоциации со всевозможными антиутопиями: «Курсометр» направлен исключительно на аналитику учебных данных. Он собирает только то, что пользователь делает в дистанционном курсе. То есть отслеживает путь, который проходит ученик во время обучения, и показывает:

Наши аналитики разработали больше 200 метрик, которые были внедрены в итоговую версию продукта. И теперь «Курсометр» выводит развернутую аналитическую информацию как по курсу, так и по отдельному пользователю.

«Курсометр» пользуется повышенным спросом среди среднего и крупного бизнеса, вузов. Чаще всего в таких компаниях (учебных заведениях) обучение поставлено на поток и ежемесячно учится от 1000 до 100 000 человек. Именно в таких организациях сложно отслеживать результаты и процесс обучения каждого студента. Только представьте, сколько времени и сил нужно потратить, чтобы вручную проверить, кто из учащихся не закончил обучение на курсе с аудиторией в 10 000 человек. «Курсометр» же автоматизирует этот процесс и при желании отправит необходимые отчеты на рабочую почту.

И все же зачем это нужно? Прежде всего облегчить жизнь преподавателю или менеджеру. Получая абсолютно прозрачную информацию о действиях учащихся в курсе, они могут улучшать качественные показатели онлайн-образования в своих компаниях.

К тому же персонализированный подход в онлайн-обучении перестанет быть мифом. Наш сервис указывает на учащихся с нетипичным поведением, что позволяет быстро найти тех, кто не изучал теорию, кто пытался подобрать ответы в тестировании и т. д. Это поможет преподавателю уделить больше внимания тем, кто нуждается в помощи и воспринимает информацию медленнее, чем другие. Или же применить «санкции» к студентам, которые пытались жульничать во время обучения.

«Курсометр» также помогает строить модели, которые предсказывают перспективы сотрудников в компании, и отсеивать неподходящих кандидатов до этапа собеседования.

За два года активной работы продукта на реальных данных мы совместно с нашими заказчиками смогли выявить, как влияет обучение на эффективность работы. В ближайшее время мы выпустим полномасштабное исследование, в котором представим точные цифры и подробно расскажем о том, как обучение влияет на последующую работу. Следите за новостями.

Вернемся к эффективности. Представьте себе следующую ситуацию: вы берете на работу 50 новых менеджеров по продажам в разных филиалах, которых нужно обучить одновременно. Проще всего это сделать с помощью дистанционного курса. Поэтому вы назначаете им обучение, и все вроде бы идет хорошо. Обучение завершают все сотрудники с блестящими результатами. А результаты работы не очень. Планы они не выполняют, с клиентами общаются не по стандартам компании. Вы расстраиваетесь, набираете новых сотрудников... и все повторяется.

Если попробовать разобраться в данной ситуации, на каком этапе, по-вашему, могли возникнуть проблемы? Пишите в комментариях.

Мы же не раз сталкивались с такими кейсами. Часто проблема в подборе, но есть кейсы, когда учащиеся просто не учатся. Не изучают принципы и стандарты работы с клиентами, принятыми в компании, списывают ответы на контрольные точки и потом не могут достичь минимальных результатов.

За нашу практику мы убедились в том, насколько изобретательными могут быть пользователи, чтобы пройти даже самое несложное обучение. Так, например, сотрудники крупных компаний очень часто договариваются и сдают тестирование друг за друга.

Но в нашем случае сотрудники одного отдела превзошли все ожидания и сдали тестирование с помощью всего лишь одного человека.

Найти героя нашего времени получилось с помощью отчетов в «Курсометре». Это был единственный сотрудник, который не отображался в нашей системе как тот, кто знал ответы заранее.

На этом знакомство с нашим продуктом можно было бы завершить. Но за текущей версией продукта скрывается долгая история проб и ошибок.

Прежде чем мы пришли к существующему идеалу, нам потребовалось два года активной разработки внутри компании и два года тестирования на реальных данных.

Первая версия «Курсометра» была написана без расчета на большой поток данных. Как только статистика перевалила за несколько сотен тысяч записей, продукт начал безбожно тормозить и отказывался работать. Масштабирование ситуацию бы не спасло, так как это было тем самым кастомным решением. Тогда мы переписали продукт в первый раз.

Второй раз мы наступили на те же грабли. Мы не ожидали такого спроса и количества данных, которые на нас свалились. Статистика с бешеной скоростью лилась в продукт, и, когда количество данных стало подходить к нескольким миллиардам, мы начали процесс улучшения продукта, не дожидаясь его падения. В этот момент мы уже работали с заказчиками и допустить проблем с продуктом просто не могли.

Следующее и последнее масштабное изменение произошло в 2019 году. Мы полностью переделали весь дизайн и UX продукта. Пересмотрели каждый отчет, проанализировали полезность метрик и пересчитали некоторые из них.

Вот так спустя четыре года с начала разработки мы получили, не побоимся этого слова, инновационный продукт, который может сделать онлайн-обучение действительно эффективным.

Для всех читателей мы подготовили скидку на годовой тариф и бесплатный доступ к демоверсии «Курсометра» на один месяц. Оставить заявку можно здесь.