5 способов изгнания дракона-цифропукера

Авинаш Кошик - маркетолог-аналитик, автор книги “Веб-аналитика. Анализ информации о посетителях веб-сайтов” и “Веб-аналитика 2.0 на практике”

А еще Авинаш Кошик делает классные рассылки о том, как превратить хаос из данных, отчетов и метрик в работающий аналитический инструмент.

Я перевел (и немного переработал для русскоязычных читателей) статью Кошика о том, как победить “дракона-цифропукера”: так он называет ситуацию, когда использование данных или аналитического ресурса в компании не приводит ни к чему, кроме генерации огромного количества отчетов и метрик, которые не приносят никакой пользы.

В любой компании, где бизнес хотя бы чуть-чуть зависит от работы с данными, вы наверняка столкнетесь с жалобами на то, что данных слишком много, но пользы от них почти нет. Возможно, это справедливо и для вашей компании.

Если это так, то статья ниже - для вас, коллеги, и для вашего босса.

Как вы, наверное, догадываетесь, я перепробовал целый ворох стратегий по преодолению цифропукинга, работая с разными компаниями и в разных странах. Постепенно у меня сформировались пять методов жесткого, но необходимого отношения к работе с данными, попутно помогающих сформировать стимулы для правильной работы всех, кто использует эти данные.

Вот они:

• Фокусироваться только на KPI, исключить метрики.

• Фокусироваться только на KPI, по которым сформулированы ожидания

• Сосредоточиться на выбросах.

• Сформировать каскад анализа и ответственности за данные.

• Приучить сотрудников к “закадровому смыслу”

Что же приводит к тому, что цифропукинг становится единственным результатом работы аналитической команды в компании?

• Отсутствие модели цифрового маркетинга и измерений (МЦМИ) или ее аналога. Если вы не знаете, куда вы идете - вам подойдет любой путь, и в конце вы точно будете несчастны.
• Отсутствие четкой системы мотивации. Если в компании нет ясного видения по-настоящему важных целей, люди хватаются за все, что есть, и просят все данные и метрики подряд.
• Команда аналитики, работающая в режиме классического ИТ-отдела: на вход принимаются задачи в виде тикетов с запросами на данные. Дыра, которая возникает в результате разрыва между сбором и использованием данных, обладает разрушительной силой.

• Слишком много инструментов. Слишком много долбаных инструментов.

• Отсутствие стыковки между аналитической командой и бизнесом. Пока никакой аналитик не смог принести пользы со своим анализом, не чувствуя ритм и потребности бизнеса.

• Аналитик, чьи (превосходные) аналитические навыки далеко опережают пытливость топ-менеджмента. Вы может и не думали, что это может быть проблемой? Еще как может.

• Бизнес-лидеры, неспособные доносить до сотрудников то, что действительно важно: каждую неделю, месяц, квартал и год.

• Аналитика (или значимая ее часть) отдана стороннему агентству, которому компания платит на почасовой основе.

Прим. переводчика: В России часто встречается другая, но схожая практика - маркетинг отдается стороннему сервису за процент от заказов. Заказы, которые “привел сервис”, атрибуцируются c помощью Last Click-атрибуции в Google Analytics. Эта метрика совсем не подходит для оценки добавленного эффекта, но очень выгодна сервисам. Например, можно сравнительно легко перераспределить заказы с существующего трафика на e-mail-канал и получить процент от них, не создав реальной пользы бизнесу.

• Аналитики запутались в комплексных задачах, стоящих перед компанией: от атрибуции и многоканальной аналитики до тестов на парных рынках. Если они перестанут справляться с текущей работой, то, скорее всего, постараются продемонстрировать свою полезность через цифропукинг: генерируя бесконечные дашборды, отчеты и тому подобное.

• У компании слишком много денег. В компании работает слишком много аналитиков с очень узкой ролью у каждого, и каждый производит целый фонтан цифропуков. Слишком много команд занимаются “трансформированием” или “инновациями”, создавая “интегрированные цифровые среды для обработки данных с возможностью углубления отчетности” или другой подобной хренью. Слишком много различных, никак не связанных между собой контейнеров с данными. Не связав их, вы убьете любую возможность выйти на смысл.

Начальница ожидает отчет с показателями маркетинговой работы за квартал. У вас 75 плотно забитых информацией слайдов.

Вы нутром чуете, что это сумасшествие - она не поймет ровным счетом ничего.

Что же делать?

Вы только что провели аудит результатов работы вашего отдела аналитики. Аудит выявил, что за квартал отдел производит 160 аналитических отчетов. Вы понимаете, что это слишком много и слишком часто.

Но по какому принципу уменьшить их количество?

Ваша сводная инфографика содержит шестнадцать метрик по девяти категориям.

Вы видите, что с шестым размером шрифтов и графиками размером с экселевские спарклайны прочитать и осознать это все невозможно.

Что делать в этом случае?

Если в любой из этих ситуаций ваш внутренний аналитический ниндзя начинает превращаться в загнавшуюся белочку - это нормально.

Первый шаг к спасению - принять факт, что скорее всего, вы насобирали столько данных от страха, что их будет недостаточно.

То есть это не конкретные данные, прицельно собранные для наиболее значимых инсайтов и решений по ним. Они не могут служить руководством к действию.

Возможность сосредоточиться на том, что действительно важно, приходит с опытом. Существует немало простых методик, которые позволяют довольно радикально очистить поле зрения от мусора и сосредоточиться на том, что действительно важно.

Вот пять из них, которые я чаще всего использую — ими легко овладеть и, при дисциплинированном соблюдении в долгосрочной перспективе, они всегда дают восхитительные результаты.

Вот определения (которые можно найти в книгах Авинаша - прим.переводчика):

Метрика - это любые цифры.

KPI: ключевой показатель эффективности — это метрика, наиболее тесно связанная с эффективностью бизнеса.

Время, проведенное на странице — это просто метрика. Число показов — просто метрика. И число подписчиков, и цифровой след, и охват, и узнаваемость, и клики, и GRP — все это просто метрики.

Все они очень любопытны (и вызывают желание поковыряться и изучить их подробнее), но ни одна из них не удовлетворяет простому критерию — тесной связи с общей эффективностью бизнеса. Более того, (тут вам лучше присесть), увеличение или уменьшение любой из этих метрик на 25% может и вовсе никак не отразиться на результатах деятельности вашей компании.

А вот прибыль - это, ясное дело, KPI. Так же как и вероятность рекомендации, количество загрузок, активные пользователи за месяц, заказы, лояльность, ассоциированные конверсии и прибыль от колл-центра.

Ценность каждого KPI — стратегическая. То есть знание таких метрик дает понимание, из-за чего мы зарабатываем деньги или, наоборот, не зарабатываем.

Изменение в 25% в любом из этих показателей может спровоцировать как серию увольнений, так и раздачу бонусов всему коллективу. И даже изменение в 5% часто имеет весьма четкие материальные последствия. Разве о какой-нибудь простой метрике можно сказать подобное?

Если вы почувствовали перегруженность данными, накиньте плащ убийцы: найдите бесполезные метрики и уничтожьте их. Они не привязаны к эффективности бизнеса, и ни один из ваших начальников не будет по ним скучать. Сотрудники нижнего ранга могут использовать метрики для микродиагностики на местах, но они и сейчас это делают.

KPI - это единственное, что на самом деле важно.

У бизнеса обычно около шести KPI для генерального директора и еще шесть для директора по маркетингу.

Это все, что должно у вас остаться.

Если вдруг после вышеописанных упражнений в плаще убийцы у вас все еще остается 28 KPI, то вас нужно спасать. Немедленно наймите супер-умного консультанта!

Это хорошая методика. Думаю, вам она понравится.

Ожидания - это числовые значения, которые вы заранее определяете как показатели успеха или неудачи по выбранному параметру.

Однако сформулировать такие ожидания безумно тяжело.

Нужно владеть навыками бизнес-прогнозирования, конкурентной разведки, планирования инвестиций, организационных реформ. Понимать, как читать показатели работы за прошлый период. Научиться отлично танцевать с бубном (тут просто поверьте).

Вот почему в большинстве компаний ожидания формируют только для тех KPI, которые позже должны оправдать этот тяжкий труд.

Иными словами, угадайте, на что вы должны потратить свое время?

Bingo - на ту аналитику, которая стоит ваших усилий!

Начните с просмотра своих слайдов, отчетов, сводной инфографики и определите KPI с сформулированными (или формулируемыми) ожиданиями. От остальных избавьтесь.

Конечно, будут вопли протеста. Например, от аналитика Васи. Скажите Васе, что без сформулированных ожиданий не понять, хорош или плох достигнутый результат. Любому генеральному директору понравится такой подход.

В результате жаркой дискуссии Вася уйдет и сделает одно из двух:

• Согласится с вами и сосредоточится на действительно значимых KPI.
• Найдет способ сформулировать ожидания для всех 32 метрик по всем 18 категориям.

И так, и этак вы в выигрыше. :)

А в придачу — благодаря этой четкой фокусировке на ожиданиях — ваша компания станет лучше в прогнозировании, конкурентной разведке, планировании инвестиций, организационных реформах, танцах с бубном и всех остальных вещах, которые со временем становятся ключевыми активами.

О да, ваши коллеги из отдела финансов вас полюбят!

Но - внимание! - никогда не забывайте о здравом смысле и Главной Максиме (успехе бизнеса).

Иногда люди пытаются искусственно понизить ожидания, чтобы обеспечить выполнение плана и заработать более высокий бонус.

Если ваш здравый смысл подсказывает, что сформированные ожидания слишком низкие, сверьтесь с показателями по отрасли.

Например, ежеквартальная цель по продажам может составлять 400 000 единиц товара. Если здравый смысл (и преданность компании) подсказывают вам, что это как-то маловато, идите и проверьте текущие данные. Плохой признак, если во втором месяце уже продано 380 тысяч единиц, а показатели отрасли - 1,8 млн. А значит, это повод вывести в сводный отчет текущие продажи, ожидания и показатели по отрасли и отдать его директору по маркетингу.

Пусть он сделает самостоятельный, основанный на реальной информации вывод о деятельности компании.

Внезапно, вы — аналитик во многомиллиардной корпорации с 98 действительно оправданными KPI (да-да, у меня аж дух захватывает в ожидании ваших объяснений этому числу, но предположим, что это ок).

Как в такой ситуации сосредоточить внимание на том, что важнее всего?

Подготовьте сводную инфографику только для тех KPI, по которым производительность за этот период времени отстоит от среднего на три квадратичных отклонения.

Приблизительно нормальное распределение данных означает, что около 68% их значений находится в пределах одного квадратичного отклонения от среднего значения, около 95% — в пределах двух квадратичных отклонений, а около 99,7% — в пределах трех. [Википедия]

То есть, если я советую сосредоточиться только на отчетности по тем KPI, которые показывают производительность в три квадратичных отклонения от среднего, я советую игнорировать нормальное и ожидаемое. Вместо этого - сосредоточьтесь на ненормальном и неожиданном.

Если уровень производительности у вас более-менее постоянный, смотрите на показатели в двух квадратичных отклонениях от среднего. Если уровень заметно варьируется, используйте шесть показателей (тут только доля шутки!).

Если показатели производительности находятся в ожидаемой области, насколько важно иметь возможность сказать начальству, мол, смотрите, производительность такая же, как и всегда?

Посмотрите на статистические выбросы, глубоко проанализируйте стоящие за ними причины и передайте их руководителям. Они вас горячо обнимут (и, что более важно, повысят зарплату).

Эту задачу можно решать по-разному. Взгляните на картинку из моей январской статьи за 2007 г., «Аналитический совет № 9: Польза статистических контрольных пределов»...

С помощью верхнего и нижнего контрольных пределов можно легко понять, когда показатели производительности стоит изучить более глубоко, когда время поволноваться, а когда можно расслабиться.

Ищите выбросы. Нашли — копайте глубже. Нет – переключайтесь на другие данные, по крайней мере, на текущий отчетный период.

Используйте любые удобные вам статистические методы, чтобы найти выбросы. Сосредоточьтесь на них вплотную.

Иногда убедить высшее руководство в том, что вам нужно сузить фокус, не получается. Генеральный директор по-прежнему требует вагоны данных. Может, потому что вы только пришли в компанию или все еще не подтвердили свою компетентность. Может, ваш директор - просто такой человек. Или у него проблемы с доверием к собственной организации. Ничего страшного.

Возьмите 32 метрики и KPI, которые вы предоставляете вашему непосредственному начальнику — директору по маркетингу. Выберите из них шесть наиболее важных KPI для генерального директора.

Сгруппируйте оставшиеся 26 показателей.

Теперь ответьте себе на такие вопросы:

• Какие из этих 26 показателей напрямую связаны с теми шестью, что я отдал генеральному директору?
• Какие из них могут стать полезными KPI для заместителей, отчитывающихся непосредственно перед ним?

Допустим, в результате упражнения вы выделили восемь KPI для заместителей. Отлично.

Задайте себе следующий вопрос:

• Какие из этих оставшихся 18 показателей напрямую связаны с теми восемью для замов и могут влиять на них? Какие из них будут полезны руководителям отделов, которые отчитываются перед замами?

Так вы определите 14 KPI для руководителей отделов.

Замечательно.

Повторите это для менеджеров, затем для маркетологов.

Скорее всего, у вас для маркетологов ни одного KPI и не останется.

Но вот чего вы достигли: взяли 32 метрики, которые сводили с ума директора по маркетингу, и распределили их по всей организации согласно уровням ответственности.

А еще вы добились согласованности общих действий. Потому что шесть KPI на столе у босса напрямую связаны с отчетами для нижестоящих сотрудников.

Можете взять печеньку с полки. Вы сделали трудное и важное дело!

Распечатайте каскадную карту:

Продемонстрируйте карту боссу. Он должен знать, что вы не выбрасываете ни крошки данных. Вы просто сделали так, что теперь каждый уровень сотрудников, отчитывающийся директору по маркетингу, фокусируется на подходящем для себя уровне данных. Это облегчает отчетность и ознакомление с данными: можно читать их малыми порциями в свободную минутку.

Но что правда, то правда: дело это нелегкое.

Вы должны быть прекрасно подкованным аналитически. Должны обладать глубоким пониманием уровней организации и факторов, которые обеспечивают их эффективную работу. Должны владеть искусством убеждения. И должны суметь выполнить все таким образом, чтобы коллектив распознал в вашем каскаде реальную ценность. Увидел, что с помощью каскада вы высвобождаете всем время для принятия решений.

Наверно, вы заметили, как точно вышеперечисленные качества совпадают с навыками, обеспечивающими головокружительную карьеру в аналитике. Это совпадение не случайно.

Ловите момент!

Если все остальное не помогает, попробуйте это. Это средство — самое сложное в применении, потому что использовать его способен только настоящий ниндзя аналитики.

Никакой топ-менеджер не хочет ковыряться в данных. Мне больно об этом писать, но это правда.

Каждый топ-менеджер хочет двигать компанию вперед. А для этого он хочет сосредоточиться на решении задач, опираясь на данные, но не занимаясь ими. Это кстати, и является их основной компетенцией, а вот работа с данными — не является.

Возьмите все те данные, что у вас есть, и добавьте в следующий раз к инфографике два куска текста для каждой метрики:

1. Почему метрика ведет себя именно так

Расскажите о глубинных факторах, повлиявших на поведение метрики, то есть собственно о закадровых смыслах (см. «Перекресток маркетинга и аналитики» № 66, если вы подписаны на мою рассылку). Чтобы определить четыре признака закадрового смысла, вам понадобятся аналитические способности на уровне ниндзя.

2. Что нужно предпринять на основе этих данных

Порекомендуйте следующие шаги, отталкиваясь от глубинных факторов. Причем у вас едва ли это получится без вовлечения в бизнес компании и глубокого понимания стратегии.

Вот что интересно - в случае с простыми бессмысленными метриками ваши “Почему” и “Что” не произведут никакого впечатления. Директор по маркетингу зарубит их при первом же вашем докладе.

Комментарии к более ценным метрикам могут продержаться от одного до трех совещаний. Но и они рано или поздно покажутся недостаточно полезными. Возможно, вас попросят каскадировать их или выкинуть.

И постепенно останется горсточка, которая будет доминирующей темой в обсуждении, будет вызывать множество споров и стимулировать продуктивные действия.Это и есть ваши ценные KPI. Правда, возможно, что руководители не сразу это поймут.

Но через несколько месяцев вы увидите, что цифропуки исчезли. Если вы действительно хорошо поработаете с закадровыми смыслами и рекомендациями к действию, то заметите, что внимание сместилось с цифр на текст.

Громадная. Большущая. Победа.

Быть загнавшейся белочкой плохо.

Такая работа со временем высасывает душу.

Поэтому, если вы почувствуете себя этим зверьком, попробуйте использовать одну из вышеперечисленных методик.

Если вы в отчаянии - попробуйте их все.

Какие-то применить окажется легче, какие-то немного труднее. Но все равно, если начнете пробовать — в конце концов измените ход событий. Даже после первого месяца у вас возникнет то теплое чувство в груди, которое всегда греет истинного аналитического ниндзя.

Ну а ваша компания начнет действительно опираться на данные, а значит, станет намного успешнее. Будем считать это хорошим побочным эффектом. :)

Вперед, за орденами!

А теперь, как обычно, ваша очередь.

Используете ли вы какую-либо из описанных выше методик в своей аналитической практике? Какие другие методики доказали свою эффективность в вашей компании? От какой метрики вам было труднее всего избавиться и какой KPI было сложнее всего рассчитать для потребителей вашей аналитики? Как по-вашему, из-за чего компании до сих пор залипли на сводках с 28 метриками?

Делитесь в комментах идеями, дикими теориями, практическими советами и примерами.

P.S. В самом начале моей карьеры я связывал свой успех со способностью собирать данные, говоря “Да” буквально на все. Теперь данных много, собирать их стало относительно просто, и успех стал зависеть от того, как очень, очень, ОЧЕНЬ хорошо знать то, что нужно проигнорировать. Усвоить такой урок непросто: говоря “нет” лишним данным, чувствуешь себя почти злодеем. Однако именно “умное игнорирование” и отличает победителей цифровой гонки от проигравших.

Спасибо.

Авинаш.