Аналитический квест для конференции: не только озадачили участников, но и выбрали нового аналитика в компанию

CRM-group уже третий год подряд организует конференцию «Маркетинг и кутёж». Официальная часть мероприятия — доклады экспертов в CRM-маркетинге, а перед вечерней кутёжной программой занимали участников в различных околомаркетинговых конкурсах, викторинах, обсуждениях.

Команда аналитики подготовила свою активность. Так как времени отвели всего 30 минут, задание должны быть не очень сложным. Придумали «Аналитический квест».

Подготовили датасет на обезличенных клиентских данных из области ретейла, с информацией о продажах за два неполных года и дополнительными метриками: продажи, сессии, показы рекламы, отправленные коммуникации и так далее. Добавили информацию за ещё один предыдущий год — для определения сезонности. И количество покупок — для определения динамики среднего чека и изменения после этого покупательского поведения.

В данных было несколько периодов, где продажи заметно упали. Участникам предлагалось выявить эти периоды, проанализировать метрики и выдвинуть гипотезы о причинах падения.

Предполагалось, что в датасете заложено три основные гипотезы и две неочевидные дополнительные.

В квесте участвовали три команды, которые за отведённые полчаса нашли все базовые гипотезы.

Конференция закончилась, конкурсные материалы ушли в архив, но, как оказалось, ненадолго.

Уже осенью мы открыли вакансию аналитика, для которой не стали создавать новое тестовое, а использовали задание квеста.

Проверять у кандидата технические скилы, вроде знания SQL и Phyton, мы не стали — их сейчас знают даже школьники, и при желании всё можно нагуглить. А вот аналитические навыки не нагуглишь.

Плюс мы активно используем в работе Power BI, поэтому кандидат должен был уметь проектировать дашборды и правильно визуализировать данные.

Подготовили тестовое задание из двух частей. Проверяли:

Такое нестандартное тестовое задание помогло выявить критические для аналитиков ошибки.

3. Усложнять. Около 80% кандидатов использовали для обработки датасета скрипты на Python, строили матрицы корреляций, регрессии и так далее. Напомним, во время квеста менеджерам отводилось всего 30 минут, а выполнить задание они должны были на листке бумаги. От кандидатов же мы получали лонгриды скриптов, горы графиков и, увы, поверхностные выводы — к сожалению, неверные.

Умение формировать отчёты, делать корректные выводы и оформить результат — одни из важнейших навыков аналитика. Когда топ-менеджер просит выявить причины падения продаж, он не будет самостоятельно выискивать ответ в скриптах и графиках — ему нужны понятные лаконичные выводы.

Вторая часть задания — найти ошибки в дашборде — оказалась чуть проще. Результат зависел от опыта и насмотренности кандидата. 50% участников не справились.

Хочется отметить, что большинство кандидатов пришло после многочисленных технических курсов, где обучают пользоваться инструментами (SQL, Python и т. п.), но никак не развивают аналитические навыки, в чём зачастую помочь может только опыт.

Некоторые кандидаты на собеседованиях благодарили за нетипичное тестовое задание, а именно: за аналитические задачи. Задание получилось оригинальным и — что важно! — правильное решение нельзя было нагуглить!

В результате мы взяли нового сотрудника, у которого необходимые технические навыки присутствовали «по умолчанию», и тестовое задание было выполнено гораздо лучше, чем у большинства кандидатов.

— 78 кандидатов запросили тестовое;

— 90% участников ограничивались анализом самого очевидного падения;

— 50% совершили грубые ошибки во второй части;

— 1 человек справился и был принят на работу.

Этот опыт помогает нам смотреть глубже стандартных навыков специалиста при найме — и не только аналитиков. Ведь на проектах наших клиентов часто приходится идти шире поставленной задачи и находить неочевидные проблемы и решения.