Почему CR (коэффициент конверсии) хитрая метрика и как с ней работать?

Коэффициент конверсии — это показатель, давший начало целой индустрии — CRO (услуги по оптимизации конверсии). Популярность метрики породила массу консультантов, фрилансеров, агентств и иногда даже (к сожалению) мошенников. Кроме богатства выбора среди исполнителей этот факт повлек и другое — размытость в терминологии и по-настоящему эффективных средствах работы с этой метрикой.

Почему CR (коэффициент конверсии) хитрая метрика и как с ней работать?

Содержание

В чем же проблема?

В первую очередь, в природе этого показателя. Коэффициент конверсии – что-то вроде “пропускной способности” воронки для бизнеса. Практически всегда под ней понимают определенное отношение:

- покупателей ко всем пользователям;

- совершивших повторную покупку по отношению ко всем покупателям;

- перешедших к оформлению заказа по отношению ко всем, добавившим товар в корзину;

- и так далее…

Для бизнеса это буквально означает следующее: у коэффициента конверсии как у метрики очень мощное плечо. И это ее плюс, и ее минус:

  1. Плюс, потому что она может стать сильнейшим рычагом – малейшие изменения в показателе конверсии могут привести к мощнейшим флуктуациям в выручке и прибыли.
  2. Минус, потому что работа с ней отдает обманчивой простотой. И, как правило, сопряжена с массой когнитивных искажений.

Рассмотрим их поподробнее.

Хитрость конверсии №1 – наш мозг не дружит с тем, как работают когорты

Нам как людям свойственно рисовать удобные, комфортные для восприятия и понимания картины мира. При наличии вопроса мозг, как правило, хватается за первое, самое очевидное и на первый взгляд верное решение. И это вдвойне верно при работе с метрикой конверсии.

Когда мы говорим, что изменим коэффициент конверсии на 5%, 10% или 15%, то практически всегда (сами того не желая) подразумеваем, что и выручка изменится пропорционально. Но, к сожалению (или счастью), это почти никогда не является правдой.

Дело в том, что конверсия как показатель неразрывно связана с когортами. Поэтому, если ваши покупатели совершают несколько покупок за свой жизненный цикл, рост (или падение) конверсии практически всегда будут влечь за собой более драматические изменения в выручке – по сравнению с вашими ожиданиями.

Очень похожим образом наш мозг заблуждается насчет оценки сложного процента (так работает, так называемая, экспоненциальная функция). И на этом умело спекулируют банки. Продавая кредиты, они практически всегда оперируют суммой ежемесячного платежа, а в случае с вкладами – ставят во главу угла общую сумму заработка.

Вывод №1:

моделируйте возможные изменения в выручке с учетом изменений в конверсии на бумаге и отчетах, а не ограничивайтесь первым, что пришло в голову.

Хитрость конверсии №2 – мы склонны подтверждать собственную точку зрения

Если на онлайн-курсах или тренингах личной эффективности нас научили, что самая большая зона роста всегда находится ближе ко дну воронки – отучиться от этого будет крайне сложно. Особенно, если вы сами были свидетелями реализации подобного сценария. В этом случае мы имеем дело с confirmation bias или его частностью – motivated reasoning.

В обоих случаях мы скорее согласимся с тем, что однажды уже присвоили себе как истину. В случае confirmation bias это будет носить неосознанный характер, а в случае motivated reasoning – осознанный. Последнее даже страшнее, так как у вас был подобный опыт и выкинуть его из головы не так-то просто.

Поэтому, если вы уже несколько месяцев бьетесь над оптимизацией чекаута, не поленитесь спросить у команды – кому в голову пришла эта идея и на чем она базировалась. Если на реальных данных – то это очень хорошая новость.

Так называемое "узкое место" (согласно теории ограничений систем Голдрата) – это практически всегда аналог "узкого места" в правильно составленной воронке. Но для того, чтобы в этом убедиться, необходимо проделать определенную ментальную работу – как минимум составить эту воронку и идентифицировать коэффициент конверсии на каждом из шагов. Как только вы подтвердите свою точку зрения реальными цифрами – можете смело идти в оптимизацию чекаута или скажем этапа добавления в корзину. А до этого времени помните про вывод из второй хитрости конверсии.

Вывод №2:

ставьте под сомнения свой текущий и прошлый опыт по оптимизации конверсии, инвестируйте в корректный поиск вашего "узкого места".

Хитрость конверсии №3 – мы подвержены ошибке выжившего

Смотреть на тех летчиков, что вернулись с боевого задания невредимыми (если не в курсе – обязательно почитайте) – нормально. Это дает первую и самую "жирную" обратную связь о качестве вашего продукта. Точно также в аналитике вполне уместно и правильно, когда в оптимизации конверсии вы в первую очередь оцениваете опыт пользователей, прошедших активацию или совершивших покупку. Там находятся так называемые “низко висящие фрукты”.

Проблемы начинаются, когда эти самые фрукты заканчиваются.

И в этот момент важно оторвать себя от привычного источника получения обратной связи – купивших пользователей. Да, именно они чаще всего становятся респондентами для ваших интервью и их пользовательский опыт мы разбираем на атомы с помощью инструментов продуктовой аналитики. Но скорее всего это происходит потому, что они более вовлечены в продукт, процесс и им в общем-то "не все равно". Но при этом всегда есть и оно.

Молчаливое подавляющее большинство.

Это 99% юзеров, которые ушли с ваших посадочных, не сказав ни слова. И сделали так не из-за того, что ваше решение их как-то не устроило. А (это горькая правда) потому, что ничегошеньки о нем (решении) не поняли. И если вы не пойдете в поиск причин низкой конверсии к ним, то скорее всего еще очень долго будете недоумевать, почему же она (конверсия) вдруг перестала расти, или начала падать.

Вывод №3:

когда работаете с конверсией, цельтесь в вопрос "Почему у меня покупают?", но не забывайте и про вторую часть уравнения - вопрос "Почему у меня не покупают?"

Хитрость конверсии №4 – мы обожаем путать корреляцию и причинно-следственную связь

Одна из самых сложных частей пазла. Если вы потратите на работу с метрикой конверсии достаточно времени, то наверняка найдете его. Святой грааль.

Однажды вы раскопаете сегмент или когорту пользователей, у которых будет фантастическая конверсия. Это будет непросто, но и результат вроде как должен стоить мук поиска. В тот самый момент, когда будете открывать шампанское, не забудьте задать себе вопрос: “А не путаю ли я корреляцию с причинно-следственной связью?”

Отличный пример подобной ошибки приводил Рон Кохави – авторитетнейшая персона в мире контролируемых экспериментов, автор книги "Доверительное А/В-тестирование".Во время работы в Microsoft ему вместе с коллегами удалось раскопать интересный факт: у пользователей, взаимодействовавших с попапом ошибок в Microsoft Word, были гораздо более приятные метрики выручки и LT, чем у всех остальных.Победа? Показываем попапы всем и вся? Ну, конечно же, нет. Как бы ни казался заманчивым сей факт, правда была намного прозаичнее – чаще остальных сообщения об ошибках получали более вовлечённые пользователи. Те, кто больше взаимодействовал с продуктом и, соответственно, тратил на него больше денег. Попап об ошибке оказался следствием, а не причиной.

Вывод №4:

даже успешные гипотезы роста конверсии нужно ставить под сомнение. Помните – пик продаж мороженного и рост числа утопленников связаны друг с другом крайне опосредованно (об этом писали Том и Дэвид Чиверсы).

Хитрость конверсии №5 – мы любим усреднять

Средние значения могут и будут вводить вас в заблуждение. При этом метрика конверсии в большинстве аналитических сервисов (но, к счастью, не во всех 🙂 ) является усредненной. Отсюда следует простой, но неутешительный вывод. Большинство решений о метрике конверсии, которые вы принимаете на данных своего счетчика аналитики, с высокой долей вероятностью будут ошибочными.

Блестящий пример такого заблуждения иллюстрировала Jessica Lachs (VP of Analytics and Data Science at DoorDash). В своем интервью Lenny Rachitsky она коснулась того, как в DoorDash работали с сегментом реферальной программы.В средних показателях этот канал проигрывал остальным по вовлечённости клиентов и payback period. Но команда DoorDash не стала фокусироваться на средних, а копнула глубже. Оказалось, что часть пользователей, привлеченных при помощи промокодов, действительно состояла из добротных клиентов с высокой окупаемостью. Но была и другая часть, которые размещали реферальные коды онлайн, привлекая "холодный трафик, интересующихся только скидками”, а иногда и мошенников. Они и портили всю картину. Поэтому, вместо сокращения расходов на этот канал (что напрашивалось после анализа средних), DoorDash инвестировал в борьбу с фродом.

Вывод №5:

будьте осторожны, принимая решения в проектах по оптимизации конверсии. За красивыми (а иногда не очень) усредненными показателями могут прятаться сегменты, условия таргетинга и внерыночные факторы. Сегментируйте трафик и копайте глубже.

Как же строить работу с коэффициентом конверсии?

Отдельная радость, когда ваша команда в курсе большинства когнитивных искажений и регулярно вкладывается в то, чтобы избегать их в ходе работы над метрикой конверсии. Но что, если вы еще работаете над образованием команды, а результат нужен здесь и сейчас?

Тогда постарайтесь найти ответы внутри сервисов, с помощью которых вы работаете над конверсией. Рассмотрим как это сделать в UX Rocket.

В UX Rocket существует отдельный раздел для формирования кастомных когорт, который находится в "Профилях" и обладает достаточно богатым функционалом. Вы можете формировать когорты по атрибутам пользователя, события или факту самого события. Использование когорт для расчета конверсии – залог безопасного и верного расчета этой метрики.

В разделе "Путь клиента" (подгруппа "Отчеты") вы можете формировать диаграмму Sankey – это набор путей вашего пользователя по продукту. С помощью фильтрации по атрибутам вы можете идентифицировать самые успешные (с точки зрения конверсии) цепочки или пары атрибут/событие и собрать первые низко висящие фрукты для оптимизации конверсии.

В разделе "Инсайты" (подгруппа "Отчеты") можно сформировать свой коэффициент конверсии с помощью вычисляемой метрики (что всегда хорошо в случае разночтений) и посмотреть на динамику изменения показателя в разрезе основных атрибутов. Это даст полную картину того, куда в первую очередь нужно смотреть с точки зрения оптимизации конверсии и где есть самые очевидные зоны роста.

И самое главное – в UX Rocket вы можете быстро запускать эксперименты, пользуясь удобным визуальным редактором и мощным статистическим аппаратом. Это функционал, способный придать вашей команде роста нужную динамику – ведь вы сможете снизить цикл запуска гипотезы с момента генерации буквально до пары часов. Создал, настроил, запустил. Уже завтра у вас может быть свежая обратная связь по вашей гипотезе роста конверсии.

Если вам хочется попробовать использовать всю мощь инструментов для анализа поведения пользователей на сайте и в приложении, когортный анализ и эксперименты в UX Rocket прямо сейчас – оставьте заявку, с удовольствием расскажем и покажем аналитический функционал UX Rocket.

Чтобы быть в курсе актуальных трендов в продуктовой и маркетинговой аналитике, А/В - тестировании, а также узнать больше о новых возможностях платформы UX Rocket, подписывайтесь на наш Telegram - канал и группу "ВКонтакте".

66
2 комментария

На самом деле мало кто задумывается о когортах при анализе конверсии, хотя это must have

2

С низко висящими фруктами все более менее понятно ( хотя далеко не всем, конечно 😁)… гораздо более интересный вопрос - как работать над повышением конверсии в более менее зрелом продукте?

1