Бенчмарки полезны, но не все — где искать правильные ориентиры

Признавайтесь, качали отчёты с бенчмарками от Litmus и других известных компаний? А вот Брайан Балфор — CEO Reforge и бывший президент по росту в HubSpot — считает, что они практически бесполезны.

В статье делюсь его инсайтами о том, в чём проблема с большинством бенчмарков и где искать статистику, которая на самом деле пригодится в работе.

Большинство источников бенчмарков можно расположить на следующей матрице:

На оси X размер выборки — количество данных, которые использовали, чтобы узнать бенчмарки. На оси Y показано, насколько группа выборки схожа с вашим бизнесом. Если сходство высокое — значит, группа выборки имеет такую же или похожую целевую аудиторию, продукт и бизнес-модель, что и ваша компания.

Теперь давайте посмотрим, что это за источники и как работать с каждым из них.

Это те самые бенчмарки, которые компании вроде Litmus регулярно публикуют в исследованиях. Они находятся в нижнем правом углу матрицы.

Такие источники обычно опираются на большую выборку данных, но уровень сходства с вашим бизнесом здесь очень низкий. Даже если бенчмарки соответствуют вашей индустрии, в них намешано много контекста, который сильно отличается от вашего: другие продукты, бизнес-модели и так далее.

Брайан Балфор называет четыре причины, почему не стоит опираться на исследования и отчёты.

Часто не менее 80% данных — это низкокачественные заявки. Из-за этого появляется очень много шума в статистике, то есть данных и цифр, которые получились случайным образом и не дают сделать общий вывод.

В большинстве отчётов используются именно средние значения и медианы. А они будут искажены в сторону маленьких компаний и низкокачественных заявок, которых в исследовании, скорее всего, больше всего. Результат — слишком низкие бенчмарки для компании, которая хочет расти быстрее.

Вместо того, чтобы сравнивать себя с «середнячками», было бы полезнее посмотреть на бенчмарки лучших конкурентов в вашей индустрии. Но, увы, такие данные почти невозможно найти в открытом доступе.

LTV — это LTV, а отток — это отток, ведь так?

А вот и нет. Разные компании измеряют одни и те же метрики совершенно по-разному — даже если работают в одной и той же индустрии.

Но в опросах для таких исследований редко уточняют методики подсчёта. Чаще всего просто спрашивают: «Какой у вас LTV?» Поэтому в отчёте могут быть представлены бенчмарки, которые рассчитаны совсем не так, как их считаете вы.

Компании, которые делятся своими бенчмарками, часто хотят сохранить анонимность. Поэтому в исследовании вы увидите цифры, но никогда не узнаете, какие продукты получили такой результат или в чём причина роста или падения метрики.

Главное — следовать правилам:

И, конечно, если вы успели накопить собственные данные, они — всегда в приоритете.

Это ещё один популярный источник бенчмарков. На матрице он находится в левом нижнем углу.

К сожалению, обсуждения на форумах — тоже не особенно полезный ресурс. На это есть три причины.

Бенчмарки участников форума будут слишком сильно отличаться от вашего бизнеса. У них другая аудитория, бизнес-модель и продукт.

Обычно в обсуждениях делятся своими средними результатами — выше мы уже упомянули, почему средние бенчмарки мало что дают. Полезнее сравнивать себя с лучшими, а не с «середнячками».

На форумах люди дают крупицы информации, но не рассказывают о дополнительных факторах — например, об истории бренда или о других каналах. Без контекста все эти бенчмарки с форумов — просто цифры.

Если вам всё равно хочется поискать бенчмарки на форумах, придётся участвовать в обсуждениях и копать, чтобы получить больше контекста. Начать можно с двух уточняющих вопросов:

В верхнем левом углу матрицы находятся бенчмарки компаний с максимально высокой степенью сходства с вашим бизнесом — то есть, ваших конкурентов. Такие данные можно получить, например, на конференции или в разговоре один на один.

У этой группы бенчмарков есть один важный минус — низкая степень доверия. Сами понимаете, вероятность получить от конкурентов на 100% достоверную и актуальную информацию крайне мала.

Например, в некоторых сервисах для SEO-анализа можно узнать, какой трафик получает сайт конкурента или сколько он тратит на рекламу.

Но и здесь есть пара проблем:

Источник находится в середине левой части нашей матрицы. Такую информацию можно получить в общении с представителем компании один на один.

Идеально, если ваши бизнесы будут похожи по одному или нескольким критериям, — скажем, у вас одинаковая целевая аудитория и бизнес-модель. Важно, чтобы вы не были полностью одинаковыми — например, у вас разные продукты. Такой собеседник не является вашим прямым конкурентом, а значит вы сможете без опаски обменяться бенчмарками и своими выводами.

Например, представитель Pinterest мог бы поговорить с LinkedIn, VK или другой социальной онлайн-платформой: у этих компаний похожие продукты и бизнес-модели, но разные целевые аудитории. Например, эти компании могли бы обсудить, как они мотивируют случайных посетителей зарегистрироваться в платформе.

Главный минус общения один на один — слишком маленький размер выборки. Как бы глубоко вы не копнули, держите в голове, что это всего лишь один кейс

Это — золотая середина в матрице бенчмарков.

У такого подхода есть все преимущества обсуждений один на один, однако выборка немного больше. Благодаря этому вы посмотрите на ситуацию под разными углами и глубже погрузитесь в проблему.

Коротко — общайтесь с лучшими компаниями, которые похожи на вашу. Только так вы сможете получить надёжные бенчмарки, к которым стоит стремиться.

Вот несколько советов, которые помогут найти собеседников и узнать ценную информацию.

Для начала вам нужно всего два-три человека из вашего круга общения: предложите им встретиться и обменяться опытом. Если вы не знакомы с похожими на вас коллегами (напомним: звать прямых конкурентов или вообще не похожие компании нет смысла), можно отправить им письма в холодную.

Можно показать участникам встречи презентацию и поделиться парой своих последних гипотез или тестов. Если коллеги пришли по приглашению из холодного письма, ценность презентации должна быть ещё выше.

Сделайте дисклеймер, что всё, что будет происходить в рамках встречи — конфиденциально. Для разминки начните с простого обсуждения — например, со следующих тем:

У такой дискуссии низкий порог входа: каждый сможет поучаствовать, не раскрывая слишком много информации.

Когда вы успешно проведёте пару встреч с микрогруппой, попросите каждого человека подумать, могут ли они позвать с собой кого-то ещё.

Как только встречи войдут в рутину, попробуйте поменять лидера группы. Лидер — это тот, кто выбирает локацию, придумывает тему встречи и модерирует обсуждение.

Можно проводить дискуссии 1-2 раза в месяц. Важно, чтобы от встречи к встрече состав группы оставался примерно одинаковым: люди, которые уже знакомы, будут сильнее раскрываться и делиться более глубокими инсайтами.

Можно использовать эту стратегию с разными группами. Например, в одной группе у вас компании с общей бизнес-моделью, а в другой общая тема — это канал коммуникации или одна и та же аудитория.

Несмотря на все недостатки, любые бенчмарки можно использовать как отправную точку для оценки продукта или бизнеса в целом. Главное — ко всему относиться с разумной долей скептицизма.