Если у пилота, уже задан результат. Лечим боли аналитика и бизнеса
Одна из задач дата-аналитика — это поддержка и анализ новых инициатив. При подсчете результатов, аналитик опытным взглядом, а также с помощью инструментов, сообщает бизнес-заказчику, что значимых результатов не зафиксировано. И тут начинается битва за результат. Что же делать?
С такими ситуациями можно столкнуться на любом этапе проведения эксперимента: при запуске или при подведении итогов. При этот бизнес не всегда готов отказаться от дальнейшего внедрения инициативы. Наша задача, как аналитиков, дать бизнесу знания для принятия будущих решений.
Недостаточная подготовка при планировании запуска
Одна из возможных причин отсутствия результатов пилота — это упущения на этапе подготовки. Что могло пойти не так? Например, не рассчитали размер группы, необходимый для детектирования результатов и запустили пилот на недостаточную группу. Как лечить: при подготовки теста уделите внимание расчету этого показателя, опираясь на предыдущие пилоты.
Не зафиксирована гипотеза
В самом начале запуска нам может показаться, что мы с заказчиком отлично друг друга пониманием и оба уверены, какие показатели будут измерены в конце пилота. На практике, все иначе. Аналитик имел виду изменение продаж, а бизнес-заказчик маржу. Как лечить: фиксируйте письменно в любом трекере (даже в почте или мессенджере) гипотезу и измеряемые показатели. На мой взгляд, изначально заказчику формулировать гипотезу самому, а аналитику выступать в роли поддержки.
Нет перевода статистических терминов на язык бизнеса
Заказчик знает как делать запуски, но не знаком с терминами статистики. Ведь, если пилот прошел, то клиенты так или иначе вовлеклись, значит их потребление изменилось *читай выросло* ? Как лечить: В таком случае стоит вступить в диалог в заказчиком и постараться объяснить, что результат его инициативы в равной степени мог появиться от внедрения изменений так и от любых других факторов. Вспомним всем известные смешные примеры корреляции между потреблением сыра и количеством самоубийств.
Проект важен для бизнеса
И такое бывает. Заказчик может развивать узкую инициативу, крайне важную для будущего бизнеса. Оставим комментарии в стороне (или смотри предыдущий пункт) и постараемся понять что делать. Ведь находясь в такой позиции заказчик не захочет слушать и понимать о причинах отсутствия результатов. Как лечить: вступаем в диалог с заказчиком. В процессе важно выяснить: можно ли изменить параметры теста для получения большего количества наблюдений. Или можно ли предложить бизнесу на данном этапе отслеживать другие операционные бизнес показатели.
Общие лекарства от боли
А что делать, если бизнес пришел с заведомо узким таргетом и на входе понятно, что тест пройдёт в пустую? Посмотрите на параметры теста: что можно изменить, для получения большего количества наблюдений (увеличить период, размер скидки, поддержку).
Личные наблюдения: не бойтесь вступления в диалог и дискуссии с бизнесом. Иногда можно не сразу найти общий язык, тем не менее вы работаете над общей задачей. Пишите ваши наблюдения в комментарии, мне будет полезно.