Удовлетворённость против результата: чего не видят NPS и CSI в образовании

Если человек вышел из ресторана довольным - ресторан своё дело сделал. Больше от него, честно говоря, ничего и не требовалось. А теперь то же самое, но про врача. Пациенту понравился приём - значит ли это, что диагноз верный? Пассажиру понравился водитель -значит ли, что он ехал безопасно? Студент поставил курсу пятёрку -значит ли, что он чему-то научился?

Чем сложнее услуга и чем дороже ошибка, тем меньше довольное лицо клиента годится в качестве доказательства качества. В образовании это видно особенно отчётливо. И особенно больно.

NPS - про готовность рекомендовать. CSI - про то, насколько человеку было удобно и приятно по каждому отдельному кусочку опыта. Метрики рабочие, хоронить я их не собираюсь. Но обе они меряют отношение к обучению, а не само обучение.

У Киркпатрика это самый нижний уровень - реакция. Над ним ещё три этажа: появились ли знания и навыки, начал ли человек применять их в работе, сдвинулось ли хоть что-то в показателях организации. И вот тут вылезает неприятное: можно собрать прекрасный NPS на первом этаже и ровный ноль на остальных трёх.

Харизматичный спикер, красивые слайды, посильные задания, ощущение отлично проведённого дня. Девять из десяти. Через месяц человек не может воспроизвести ничего. Бывает и зеркально: программа получает рваные, противоречивые оценки ровно потому, что заставляет думать, ошибаться, лезть в незнакомое и упираться в границы собственных знаний. Высокий NPS не доказывает, что обучение работает. Низкий не доказывает, что не работает.

В качестве примера могу привести "Школу 21" - бесплатную школу цифровых технологий Сбера, где мне довелось заниматься развитием образовательной модели. Обучение построено по методике «равный равному» (peer-to-peer): здесь нет преподавателей в привычном смысле. Студенты самостоятельно ищут теоретические материалы, работают над практическими задачами, учатся формулировать вопросы, получать и давать обратную связь друг другу. Такая модель создаёт для методологии особый вызов: нужно одновременно минимизировать бессмысленное трение и отток студентов, поддерживать высокий образовательный опыт и при этом сформировать именно те навыки и компетенции, ради которых программа вообще создавалась.

В Школе 21 этот конфликт был не теоретическим, а ежедневным. Нет преподавателя, который выйдет и объяснит правильный ответ. Есть задача, есть другие такие же студенты, есть право ошибиться и зайти на второй круг. Недостающие знания человек ищет сам, вопросы формулирует сам, гипотезы проверяет сам, обратную связь и запрашивает, и даёт. Для привычного образовательного сервиса отсутствие готового объяснения - это дефект. Внутри такой модели самостоятельность - не побочный эффект, а один из главных результатов.

И вот здесь у методолога начинается самая тяжёлая часть работы: отличить продуктивную трудность от бесполезного трения.

Продуктивная трудность - это когда человеку тяжело, потому что он делает то, чего раньше не умел, и постепенно перестаёт нуждаться в подсказке. Бесполезное трение - это когда ему тяжело из-за криво написанного задания, багов платформы, неочевидных правил, и оценивания, которое выглядит нечестным. В отзыве и то и другое звучит абсолютно одинаково: «было сложно, мне ничего не объяснили». А делать с этим нужно противоположные вещи. Первое - беречь, потому что именно оно и есть обучение. Второе - вырезать, потому что оно ничему не учит и просто съедает силы студента.

Поэтому низкая оценка для меня никогда не была готовым управленческим решением. Она была входом в диагностику. Что конкретно вызвало раздражение? Эта трудность заложена в замысел или получилась случайно? Она сформировала навык или человек просто час бился о непонятную формулировку?

Дальше работает закон Гудхарта: показатель, превращённый в цель, перестаёт быть хорошим показателем.

Если организация начинает рулить программой преимущественно через NPS и CSI - тем более когда параллельно горит план по набору, соблазны выстраиваются в понятную очередь. Опустить порог отбора. Упростить задания. Сократить число неудачных попыток. Давать больше готовых объяснений. Убрать неопределённость. Смягчить требования к результату. Заменить честную обратную связь поддерживающей. Подтянуть процент дошедших до конца.

Удовлетворённость вырастет. Конверсия вырастет. Рекомендаций станет больше. И ровно в этот момент программа начнёт терять то единственное, ради чего вообще создавалась- способность менять человека.

Подмена происходит тихо. Комфорт начинает читаться как качество. Факт завершения как освоенный навык. Хороший отзыв как доказательство эффективности. Лёгкость прохождения как доступность образования. Хотя доступное обучение и лёгкое обучение это разные вещи, и путают их с завидной регулярностью.

Обратная крайность ничем не лучше. Игнорировать впечатления студентов это прямая дорога к тому, чтобы прикрывать сильной методикой хаос, непрозрачность, унижение и бессмысленную перегрузку. Плюс у образовательного продукта есть отдельная и совершенно законная рыночная задача: привлекать людей, растить сообщество, жить на органических рекомендациях. В этом контуре NPS это нормальная боевая метрика.

Просто надо честно признать, что мы одновременно оцениваем два разных результата. Первый - изменились ли знания, навыки и поведение человека. Второй - хочет ли он продолжать и рекомендовать. Эти вещи связаны, но не тождественны, и подменять одно другим это методологическая ошибка, которая обходится дорого.

Первое, что меня интересует, это образовательный результат: как человек решает аутентичные задачи, справляется ли с задачей, которую раньше не встречал, что от навыка останется через полгода, как меняется уровень его самостоятельности, что он в итоге сделал руками.

Второе - перенос в деятельность: применяет ли он это в реальной работе, меньше ли стало ошибок, быстрее ли идут задачи, лучше ли стали решения.

Третье - эффект для организации: как быстро сотрудник выходит на продуктивность, что происходит с производительностью подразделения, с качеством процессов, с затратами и рисками, с теми бизнес-показателями, ради которых обучение вообще затевали.

И только четвёртое - образовательный опыт: понятны ли цели и правила, справедливо ли оценивание, есть ли внятная обратная связь и нужные ресурсы, не мешает ли платформа, видит ли человек пользу. Здесь и живут NPS с CSI. Их работа - не отчитываться за качество, а ловить лишнее трение и следить, чтобы результативное обучение оставалось человеческим.

Четвёртый контур не заменяет первые три. Никогда.

В ресторане впечатление клиента - почти и есть результат.В образовании, медицине и безопасностиэто только часть качества, потому что здесь есть результат, который человек не всегда способен оценить сразу и в одиночку.

Студент - абсолютный эксперт в том, что он пережил. «Мне было непонятно», «я не получил обратной связи», «я не вижу, как это связано с моей работой» - это факты, и спорить с ними бессмысленно. Но он не обязан знать, какая образовательная конструкция даст ему лучший результат через год. Это не его работа. Это моя.

Задача методолога - не спорить с субъективным опытом и не подчиняться ему автоматически, а перевести впечатление в диагностический сигнал, сложить с объективными данными и докопаться до настоящей причины. NPS отвечает на вопрос: «Готов ли человек это рекомендовать?»

Образование должно ответить на другой: «Может ли он теперь делать то, чего не мог раньше, и изменило ли это что-нибудь в реальной работе?» Хорошая программа обязана быть достаточно комфортной, чтобы не отталкивать человека бессмысленными барьерами, и достаточно сложной, чтобы действительно его изменить.

Потому что если после обучения человек остался прежним, но поставил пять звёзд, - вы, возможно, сделали приятный сервис. Но пока ещё не образование.

#образование #EdTech #методология #NPS #CSI #Education #IT #peer-to-peer #обучение #it #itобучение