Как оценивать эффективность обучения. Отзывы Бруноям
Любая система требует оценки и планирования. Бизнес должен понимать, сколько хочет получить и какая ситуация со счетами на данный момент. Спортсмен знает, сколько должен сбросить до соревнований и сколько ещё осталось. А в курсах мы смотрим на оценки учеников, чтобы помимо личного удовлетворения от обучения видеть и прогресс по цифрам.
Показатели эффективности
8 лет мы успешно обучаем людей в Петербурге. Успешно - это 96,15% положительных оценок при запланированных 96%. Это общий показатель, который складывается из:
- Оценки профессиональности преподавателя. Все преподаватели у нас — действующие специалисты. Это значит, что если три года назад кто-то настраивал таргетированную рекламу, а сейчас решил учить этому других, то нам такой человек не подходит. Это вынужденная мера, так как поддержка актуальности курсов возможна только тогда, когда преподаватели продолжают работать в сфере, о которой рассказывают. Многие ученики идут к нам именно за опытом, который им могут передать наши специалисты. Запланированный показатель - 98,3%
- Оценки педагогических навыков преподавателя. Интересное наблюдение: большинство людей перед стартом занятий задумываются лишь о профессиональных качествах будущего преподавателя, а в процессе учёбы всё больше говорят про его педагогические навыки. Рассказывать просто о сложном, увлекать и не давать угаснуть интересу - важные умения в любом обучении, которые ценят слушатели. Для их развития у нас есть Педагогика 3.0. Это программа обучения специалистов по ведению занятий: как готовить материалы, как доносить информацию, как вовлекать в обучение всех слушателей, как вообще взаимодействовать с учениками. После её изучения идут тестовые занятия и проверки, после которых становится ясно - подходит нам специалист или нет. Запланированный показатель - 96,3%
- Оценки менеджеров. Сколько бы мы ни говорили про преподавателей, а обучение начинается с менеджеров. А точнее - с их консультации. Очень важно, насколько точно они помогли вам сформулировать цель обучения, подобрать нужный курс, проконсультировать по всем моментам. Не стоит забывать и про эмоциональную составляющую обучения. Запланированный показатель - 96,2%.
- Оценки компьютеров. Спасибо нашему айтишнику, который помог забыть об этой проблеме. Недостаточно просто купить хорошие компьютеры и настроить систему дубляжа. Нужно и провода все аккуратно провести, чтобы никто не задевал их, и программы устанавливать, вовремя их обновлять, и бороться с Windows, которые по своему усмотрению выдают несовместимые с другими программами обновления, и многое другое. Когда всё внимание приковано к экрану, мозг отчаянно кипит над новой информации, то меньше всего хочется отвлекаться на тусклый монитор или зависающий Photoshop. Запланированный показатель - 96,9%.
Оценки комфорта. Многое остаётся "за кадром" для учеников. Например, недавние "войны" за выбор стульев в аудитории. Похожая ситуация, как и с компьютерами. Не хочется отвлекаться на второстепенные вещи во время обучения, поэтому нам важно, насколько комфортно вы себя чувствуете в аудитории. Запланированный показатель - 98,9%.
Заносим данные в таблицу для наглядности и своевременных корректировок.
Как их оценивают ученики
В анкетах ученики оценивают каждый пункт от 1 до 10 баллов. За каждый параметр отвечает конкретный человек. Каждую неделю эти показатели заносятся из CRM-системы в таблицу. Когда значение какого-либо показателя падает ниже определённой границы, например, оценка профессиональности преподавателя упала ниже 96%, тогда остальные подключаются к этому вопросу, выясняют, почему так получилось, и решают, как это исправить.
Однако, оценка этих параметров не даёт полную картину. Есть ещё четыре блока в анкете с открытыми вопросами:
1. Цель обучения
Это поле помогает наглядно увидеть, что хотят получить от нашего курса люди: найти работу, освоить навык или заняться саморазвитием. Задача курса - постоянно соответствовать целям, которые указывают в этих анкетах.
2. Удовлетворённость
Получилось ли достичь цели? Понравилось ли само обучение? Нашёл ли работу за время обучения? А ещё тут можно увидеть, что каждому ученику понравилось больше всего.
3. Предложения
Чаще всего тут видим "Даже не знаю. Всё отлично. Мне всё понравилось". Но с другой стороны, столько всего классного появилось именно благодаря этому полю. Даже целые курсы!
4. Комментарии
На первый взгляд, не самый важный пункт. В первых трёх можно всё описать. Но именно в этом поле обычно делятся своими эмоциями. Так мы видим и ваши результаты после обучения, и эмоциональный отклик.
Отличия анкет на онлайн-курсах
Пришлось поменять систему сбора обратной связи - всё-таки онлайн-курсы имеют свои отличия:
- Другое позиционирование. Каждый модуль - это отдельный шаг к развитию вашего проекта. Каждый модуль даёт конкретный результат. Порой есть смысл задержаться на одном из них, если, к примеру, пройденный канал продвижения приносит вам желаемых клиентов. Поэтому нужно получать отклик от учеников отдельно по каждому модулю.
- Особый упор на кураторов. Они играют ключевую роль в курсе. Требований к ним — целая книжка. И нам важно знать, что все они соблюдаются. Теперь для этого есть соответствующий вопрос после каждого модуля.
- Оперативность. Мы стараемся всем своим ученикам рассказать, как мы видим роль кураторов, почему у нас именно такой формат подачи информации. Но иногда бывают недопонимания. Теперь, если такое вдруг и случилось, мы сразу об этом узнаём и решаем вопрос. Так что все в плюсе.
В итоге в онлайн-курсах мы сделали анкету после каждого модуля, а не в конце курса, где выделили оцени куратора и самого материала.
Итоговая анкета осталась. Там спрашиваем ещё про впечатление от платформы и преподавателя.
Итог
Система планирования и учёта оценок по обучению позволяет не только улучшать свои курсы, но и сводить негативные отзывы на нет. Теперь нельзя быть недовольным и остаться при этом незамеченным - всех найдём, всё решим.
В дальнейшем если и будут, то уже на основе именно этих анкет. Теперь их ещё больше, а значит, и общаемся больше, и обратной связи больше, и курсы лучше!
Спасибо большое за статью!
Есть несколько вопросиков:
1) Откуда появился такой бенчмарк 96% ?) И что у конкурентов?
2) Анкета анонимная или нет? Может быть часть студентов стесняется ответить?)
3) Опрашиваете ли вы студентов после прохождения курсов через N-ое время?
Спасибо!
Добрый день!
1. 100% качества держать невозможно, показатель выше 96% по опыту показывает, что продукт находится в идеальном состоянии, а 4% можно назвать погрешностью (неверно поставленная оценка, локальная проблема в рабочим местом и так далее). По конкурентам сложно сказать, если судить по отзывам - кто-то берёт объемом и имеет не самые лучшие отзывы, кто-то старается в качество и имеет хорошую репутацию.
2. Анкета не анонимная. Это важный момент, если мы получаем негативный комментарий, то сразу можем связаться с человеком, обсудить негатив и поправить это в курсе/процессе. Анкеты максимально простые и большинство студентов понимают их цель, поэтому такой проблемы нет.
3. Да, всем студентам отправляется небольшой опрос про использование навыков, которые были получены на курсе, в дальнейшей работе.