Тестирование гипотез в growth marketing: Как экспертность команды превращается в источник дорогих ошибок
Почему опыт превращается в overconfidence, можно ли опираться только на мозговой штурм и что должно лежать в основе хорошего бэклога гипотез.
В медиа становится всё больше материалов про growth marketing, A/B-тесты, ICE и RICE, MDE, расчёт выборки и дизайн экспериментов. Но один вопрос, по моим наблюдениям, обсуждают заметно реже: откуда должны появляться гипотезы в бэклоге?
На первый взгляд, для непогруженного наблюдателя, кажется будто всё довольно просто. Собираем команду, проводим мозговой штурм, записываем идеи, приоритизируем их и начинаем тестировать. Но в реальности на первом же этапе можно заложить ошибки, которые впоследствии будут стоить бизнесу времени, бюджета и десятков бесполезных экспериментов.
Хороший growth-процесс начинается не с ICE и даже не с дизайна A/B-теста, а с качества гипотез и с понимания того, на каком основании каждая из них появилась.
Откуда появляются гипотезы
Источников может быть много, но условно я бы разделила их на несколько основных типов.
- Экспертные гипотезы, когда команда формирует идеи на основании собственного опыта, знаний о продукте, рынке и аудитории. Например: «Мне кажется, такой оффер хорошо зайдёт молодым мамам» или «Наш пользователь точно не будет читать длинный лендинг».
- Data-driven гипотезы, которые появляются из аналитики. Мы изучаем путь пользователя, ищем bottlenecks, аномалии, различия между когортами, GEO, каналами и сегментами. Например, видим падение CR после перехода на landing page. Тогда вместо очередного теста креатива возникает более интересный вопрос: почему пользователь кликает, но не покупает?
- Customer research. Интервью, опросы, отзывы, обращения в поддержку, комментарии в социальных сетях, причины возвратов и отказов. Пользователь редко скажет: «Вам нужно изменить onboarding flow», но вполне может десять раз повторить: «После регистрации я не понял, что делать дальше». А уже команда превращает это наблюдение в проверяемую гипотезу.
- Из внешних исследований: отчеты о состоянии отрасли, исследований поведения покупателей, рынка или отдельных сегментов.
- Также отдельный большой источник это новые инструменты, технологии и площадки: AI, новые рекламные форматы, автоматизация, изменения алгоритмов, новые каналы acquisition.
Все эти методы построения гипотез имеют право на существование, но один из них, на мой взгляд, требует особенно осторожного отношения.
Самый опасный источник идей - это экспертность. И здесь начинается парадокс: чем опытнее команда и чем дольше сотрудники работают с продуктом, тем опаснее иногда могут становиться их предположения.
Да, разумеется, человек, который пять лет работает с продуктом, знает о нём гораздо больше того, кто пришёл вчера. Он видел сотни кампаний, разговаривал с клиентами, знает рынок, конкурентов и историю предыдущих решений.
Проблема начинается с непоколебимой уверенности в своей правоте.
Чем глубже специалист погружается в продукт, тем сильнее у него формируется внутренняя модель клиента. Он начинает понимать, кто покупает, почему покупает, что ему нравится, чего он боится и какие предложения должны работать.Со временем эта модель может перестать восприниматься как модель. Она начинает восприниматься как объективная реальность.
И на этом этапе появляются фразы вроде: «Наши пользователи никогда не будут читать длинный лендинг», «Помню, как на конференции к нашему стенду постоянно подходили французы. Думаю, нужно масштабироваться во Францию» или «Эта аудитория слишком взрослая для TikTok».
Конечно же любое из подобных утверждений вполне может оказаться правильным. Но давайте не забывать: пока у нас нет данных, это всё ещё гипотеза, а не факт.
Почему опытная команда может ошибаться сильнее
Мы все знаем про когнитивные искажения. Confirmation bias заставляет нас лучше замечать информацию, которая подтверждает уже существующее мнение. Authority bias делает идею более убедительной просто потому, что её предложил человек с высоким статусом. Чрезмерная уверенность заставляет переоценивать точность собственного понимания клиента.
Нередко в командах возникает интересная ситуация: если идею предлагает стажер, его спрашивают: «На каких данных это основано?» Но если ту же самую идею озвучивает человек, который работает с продуктом семь лет, данная идея может почти автоматически попасть в roadmap.
Именно здесь экспертность начинает стоить бизнесу денег. Ведь неподтверждённое предположение может лечь в основу не только небольшого A/B-теста, на его основании могут выбрать новые GEO, изменить ценообразование, перераспределить рекламный бюджет или построить медиаплан на квартал.
Чем дороже решение, тем дороже становится ошибка.
Значит ли это, что экспертные гипотезы нужно убрать из списка?
Однозначно нет, не торопитесь с выводами.
Сильные специалисты в любом случае являются одним из самых ценных источников гипотез. Эксперт действительно способен заметить закономерность раньше, чем она станет очевидной в дашбордах. Эксперт может связать несколько слабых сигналов, увидеть изменение рынка или предположить поведение пользователя, которое пока сложно доказать количественно.
Но критически важно зафиксировать: экспертность может быть источником гипотезы, но она не является доказательством её правильности.
После фразы «Мне кажется, это должно сработать» должен появляться следующий вопрос: «Какие данные это подтверждают?»
Ответом может быть аналитика, customer research, результаты предыдущих экспериментов, внешнее исследование или даже несколько косвенных сигналов. А иногда правильный ответ будет: «Пока никаких».
И в этом нет ничего страшного. Это просто означает, что перед нами гипотеза с низким confidence, а не знание о пользователе.
Что стоит хранить в бэклоге кроме самой идеи
Мне кажется полезным фиксировать не только формулировку гипотезы, но и контекст её появления. Какая проблема или новая возможность были обнаружены? Какой источник дал нам этот сигнал? Есть ли подтверждающие данные? На какую метрику мы рассчитываем повлиять? Почему именно это изменение должно привести к результату? Насколько сильны наши доказательства?
Например, команда видит, что значительная часть вопросов в customer support перед покупкой связана с непониманием тарифов. Из этого появляется гипотеза: если упростить сравнение тарифов и добавить рекомендации по use case, purchase conversion увеличится. Здесь есть конкретное наблюдение, источник данных, предполагаемый механизм и метрика.
А теперь другой вариант: директор по маркетингу считает, что компании стоит попробовать новый рынок, потому что ему несколько раз говорили о нём клиенты на конференции. Это тоже совершенно нормальная гипотеза. Но доказательная база здесь значительно слабее, а значит и confidence должен быть другим.
Обе идеи могут попасть в backlog. Просто их нельзя считать одинаково доказанными.
«Мы знаем» и «мы предполагаем»
Это одно из самых полезных разделений, которое можно внедрить в growth-команде.
«80% повторных покупателей совершают следующую покупку в течение 60 дней» - может быть фактом, если это подтверждено данными.
«Они возвращаются, потому что им нравится качество продукта» - уже является интерпретацией.
Возможно, они действительно возвращаются из-за качества. А возможно, из-за скидки, привычки или потому, что упаковки хватает примерно на два месяца.
Чтобы узнать причину, потребуется отдельное исследование или эксперимент. Именно поэтому слова «мы видим», «мы знаем» и «мы предполагаем» должны нести для команды разный смысл.
Вместо вывода
Хороший backlog гипотез не должен быть соревнованием в количестве идей. Его задача состоит в том, чтобы системно превращать предположения команды в знания.
Поэтому перед вопросом «Какой ICE у этой гипотезы?» я бы сначала задавала другой:
«Почему эта гипотеза вообще появилась и что заставляет нас считать её правдоподобной?»
Можно рассчитать MDE, собрать правильную выборку и провести статистически безупречный эксперимент.
Но хороший дизайн теста не компенсирует плохой процесс формирования гипотез.
А уверенность даже самого опытного специалиста всё ещё не является данными.