Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 7 инструментов с рекомендациями по применению.
Модель Киркпатрика — это продвинутый уровень оценки эффективности онлайн-курсов. Мы проводим такое исследование, когда заказчики хотят понять, как корпоративное обучение повлияет на результаты работы.
Если коротко о модели: Дональд Киркпатрик выделил четыре уровня оценки эффективности и отнёс к ним реакцию, усвоение, поведение и результат. В этом материале разберём первые два — по порядку и с примерами.
Эмоциональная реакция
Эмоциональный уровень показывает, понравился курс или нет. Это не значит, что обучение, которое нравится — более эффективное. Но когда человек внимателен и заинтересован, мозг охотнее будет учиться.
Здесь мы используем три инструмента.
Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.
Например, люди идут на курс по публичным выступлениям, чтобы научиться питчить идеи и вести переговоры с инвесторами. В курсе много теоретической информации, но совсем нет практических советов. Поэтому даже самые внимательные студенты не понимают, что нужно сказать, чтобы инвестор вложился в проект. В этом случае ожидания от курса вернутся только частично.
Оценка удовлетворённости — это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создаёт положительное и негативное впечатление. На основе этой информации можно усиливать или убирать отдельные части курса.
Например, в курсе по публичным выступлениям людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст — нет. Эти результаты можно использовать для корректировки: совсем убирать текст или перевести его в более интересный формат.
Контент-анализ отзывов — показывает разницу между впечатлениями слушателей, которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.
Например, большинство бросивших курс по выступлениям подчёркивают, что информация непонятная, вопросы сложные, в целом скучно. Те, кто прошёл курс, тоже отмечают мутные формулировки в тестах. Значит, стоит пересмотреть и исправить вопросы. Возможно, в целом изменить формат проверки знаний.
Усвоение знаний
Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать, обучение будет малоэффективным. Чтобы желание и понимание появились, нужен «инсайт» — осознание через собственный опыт и анализ.
Здесь мы используем четыре инструмента.
Тест знаний «до-после». Он показывает прогресс знаний по теме, или его отсутствие. Результаты могут продемонстрировать, что материалы курса поверхностные, очень простые или сложные. С другой стороны, уровень знаний слушателей может быть слишком высоким или низким для этой темы. Если материалы подобраны правильно, уровень знаний будет расти по ходу учёбы.
Если оценивать отдельные темы вместо курса целиком, станет понятно, какие знания он развивает больше. Например, в курсе по публичным выступлениям четыре темы: переговорные позиции, техники, навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Значит, именно этот материал можно сделать фишкой курса.
Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса и какие темы усваиваются лучше. К этой оценке стоит относиться осторожно: нельзя учесть все факторы, которые влияют на студента во время проверки знаний. Мы, например, не можем быть уверенными, что пользователь не жульничает. Поэтому стоит относиться к оценке осторожно.
Финальный тест по выступлениям был сложнее промежуточных, поэтому процент ошибок в нём выше. Это нормальная ситуация. Для нас важнее, что ошибок с каждым тестом становилось меньше — это хороший показатель.
Связь повторного изучения материалов с результатами тестов — показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Возможные решения — объяснить подробнее или изменить структуру, чтобы студенты посмотрели на сложный материал с разных углов.
Например, анализ показал, что слушатели изучают тему переговорных техник шесть раз. В результате они улучшают свои оценки почти вдвое. Это значит, что потенциал у темы огромный, но подача слишком сложная, и студентам приходится продираться. Стоит поработать над структурой и подачей информации.
Связь времени на изучение материалов с результатами. Это похоже на предыдущий инструмент, но теперь оцениваем, сколько времени тратят на один материал результативные и нерезультативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно — изменить объём информации.
Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» шесть минут, а нерезультативный — две. Возможно, тему бросают, потому что она сложная или материал изложен непоследовательно. Тогда мы будем мотивировать пользователя работать с разделом больше и проверим, насколько информация понятна.
Резюмируем: оценить эффективность онлайн-курсов можно через эмоциональную реакцию и усвоение знаний. Первая показывает, насколько студентам понравилось обучение и его информационное наполнение. Усвоение знаний — какие новые знания и навыки приобрели слушатели. Совсем не обязательно использовать все техники — вариативность их применения индивидуальна.
В следующий раз разберём ещё восемь инструментов, которые помогают оценить эффективность через поведение и результат.