Почему обучение не работает? HR-аналитика и A/B-тестирование в рознице
Как понять, приносит ли обучение реальную пользу? Должны ли мы тратить миллионы на тренинги, если их эффект неочевиден? Этими вопросами задаётся каждый бизнес. Я расскажу о нашем опыте, где мы с помощью A/B-тестирования искали ответ на один из самых сложных вопросов в HR-аналитике.
Бизнес-задача: Выявить, как обучение и наставничество влияют на продажи.
Лабиринт данных: Что у нас было на старте
Представьте себе огромную розничную сеть: сотни магазинов по всей России, тысячи продавцов. У каждого свой опыт, свой магазин и своя покупательская аудитория.
Основные переменные, с которыми нам пришлось работать:
- Продавцы: Часть из них - новички, которые только что прошли обучение. Другие - опытные "старички", которые тоже периодически обновляют свои знания.
- Наставничество: Некоторые новички первые два месяца работают с наставником.
- Магазины: Отличаются всем - от местоположения (условный "Авиапарк" против магазина в Воронеже) до ассортимента и площади.
- Метрики: Мы анализировали 14 показателей продаж: от среднего чека до количества позиций в чеке.
Сложности, которые выросли до проблем
Сразу стало ясно, что простое сравнение не сработает. Перед нами встали четыре главные проблемы, каждая из которых могла похоронить проект:
- Проблема №1. Сравнить невозможное. Как сопоставить "Авиапарк" и Воронеж? Разница в трафике и покупательском поведении колоссальна. Мы решили не сравнивать магазины между собой, а оценивать продавцов внутри одного магазина. Мы разработали систему ранжирования: каждый день определяли лидеров и аутсайдеров по 14 метрикам и начисляли им баллы.
- Проблема №2. Вакуума не существует. В мире аналитики HR нет стерильных условий. На результаты влияли десятки факторов: отпускной период, акции, смена руководства. Наша система ранжирования показала, что в период отпусков новички показывали отличные результаты, но как только возвращались "старички" — их показатели резко падали. Опыт побеждал, и это было логично.
- Проблема №3. Отсутствие чистоты эксперимента. Как отделить группу "обученных" от "необученных", если все периодически проходят тренинги? Мы смогли разделить группы только по результатам итоговых тестов.
- Проблема №4. "Слишком много данных". Одни и те же программы обучения влияли на разные метрики. Мы поняли, что одно обучение может влиять только на 1-3 показателя. Мы разделили метрики, чтобы исключить лишние переменные.
Неожиданные результаты: Цифры против интуиции
После долгих месяцев анализа, сбора данных, построения визуализаций и расчёта статистической значимости мы получили шокирующие результаты.
- Визуально, обучение работало. На графиках группа, успешно прошедшая обучение, демонстрировала очевидно лучшие результаты.
- Но статистика говорила "НЕТ". При проверке статистической значимости выяснилось, что разница между группами была незначительной. Общее обучение не оказывало глобального влияния на продажи.
Что сработало? Мы смогли доказать эффективность лишь тех тренингов, которые были направлены на одну конкретную метрику. Например, обучение, сфокусированное на продажах по акции "1+1", показало статистически значимый результат.
Наставничество: Временный катализатор
Анализ наставничества принёс не менее интересные выводы. Наличие наставника действительно помогало новичкам показать быстрый рост продаж. Но этот эффект был временным: через несколько месяцев после окончания программы наставничества показатели новичков возвращались на уровень коллег, работавших без наставника. Наставничество давало быстрый старт, но не обеспечивало устойчивого результата.
Главные выводы для бизнеса
- Только измеримое обучение. Прежде чем тратить бюджет, проверяйте каждое обучение на эффективность. Работайте в тесной связке с корпоративным университетом и всегда считайте ROI (возврат инвестиций).
- Наставничество как старт, а не финиш. Наставники — это мощный инструмент для быстрого погружения в профессию. Но бросать новичка после испытательного срока нельзя. Поддержка должна быть долгосрочной, чтобы навыки закрепились.
- Нет универсального рецепта. Не существует "волшебной" программы обучения, которая решит все проблемы. Успех приносят узкоспециализированные тренинги, направленные на конкретные метрики, а не общие курсы.
Итоговый вывод прост: аналитика способна помочь бизнесу распределить финансы в правильном направлении для развития сотрудников, но только при условии, что она проведена правильно.
Автор: Трегубова Анна.