HADI-циклы. Руководство по проверке гипотез
Это финальная статья из цикла материалов про базу по работе с гипотезами, который я готовила для внутреннего обучения команды продактов OTUS. Ранее я писала про продуктовое мышление, генерацию сильных продуктовых гипотез и популярные фреймворки для оценки и приоритизации гипотез . Здесь разберемся, как это все работает вместе в итеративном цикле работы над ростом продукта HADI.
Что такое HADI?
Итак, вы провели всю подготовительную работу: сгенерировали обоснованные гипотезы и выбрали самую перспективную с помощью фреймворков приоритизации. Что дальше? Теперь ее нужно проверить, а не просто реализовать. Именно для этого и создан HADI-цикл — простой и мощный метод для тестирования продуктовых гипотез и непрерывного улучшения продукта на основе данных.
HADI — это аббревиатура, которая описывает полный цикл итеративной работы над совершенствованием продукта:
- Hypothesis (Гипотеза)
- Action (Действие)
- Data (Данные)
- Insights (Инсайты)
Разберем каждый этап детально.
Hypothesis (Гипотеза)
На этом этапе вы берете гипотезу из своего бэклога и подготавливаете ее для тестирования. Чем точнее и корректнее сформулирована гипотеза, тем проще вам будет работать дальше. Для HADI-цикла это ваша отправная точка.
Action (Действие)
Это самый творческий этап. Ваша задача — придумать минимальное действие, которое позволит проверить гипотезу с наименьшими затратами ресурсов. Цель — не создать идеальное финальное решение, а получить данные, из которых вы узнаете что-то новое о своем продукте, и сможете сделать выводы.
Примеры действий для проверки:
- Для гипотез о UX/UI: А/B-тест или А/B-тест на прототипе (когда вы тестируете не готовый продукт, а интерактивный макет)
- Для гипотез о ценности фичи: фейковый дверной тест (Fake Door Test) или лендинг с анонсом
- Для гипотез о проблемах пользователей: 5 глубинных интервью, коридорный тест, юзабилити-тестирование прототипа
- Для гипотез о содержании и маркетинговой коммуникации: онлайн-опрос, А/B-тест email-рассылки.
Ключевой вопрос здесь: «Какой самый простой (быстрый, дешевый) способ узнать, верна ли наша гипотеза?»
Data (Данные)
Прежде чем действовать, вы должны точно знать, какие данные будете собирать и как вы поймете, что гипотеза подтвердилась.
Выбор метрик — критически важен. При проведении экспериментов желательно отслеживать несколько метрик:
- Метрика успеха – главный показатель, который напрямую связан с гипотезой. Пример: Конверсия в покупку, Retention Rate, Click-Through Rate (CTR).
- Guardrail-метрики (метрики-стражи) – показатели, которые не должны ухудшиться. Они защищают вас от успешных, но вредных экспериментов. Пример: При тестировании изменений в корзине покупок guard-метрикой будет «количество обращений в поддержку» или «общий доход». Мы хотим увеличить конверсию, но не за счет роста числа жалоб или падения выручки.
- North Star Metric (Метрика Северной Звезды) – сквозная метрика здоровья всего продукта. Все эксперименты в долгосрочной перспективе должны положительно влиять на нее.
Инструменты для сбора:
- Для A/B тестов и аналитики: Amplitude, Mixpanel, Google Analytics, Firebase.
- Для опросов и фидбека: Typeform, Survicate, Hotjar Polls.
- Для качественных данных: записи интервью, заметки из юзабилити-тестов.
Insights (Инсайты)
Вы совершили действие и собрали данные. Самое время превратить их в инсайты – осмысленные выводы, которые направят ваши следующие шаги.
Как анализировать:
- Для количественных экспериментов (A/B тест):
- Статистическая значимость (p-value): Это вероятность того, что разница между контрольной и тестовой группой возникла случайно. Общепринятый порог значимости — p-value ≤ 0.05. Это означает, что с вероятностью 95% разница является реальной.Пример: «Вариант B показал рост конверсии на 10% с p-value = 0.03. Результат статистически значим. Мы уверены, что улучшение не случайно».
- Для качественных экспериментов (интервью):
- Ищите паттерны и повторяющиеся темы. Почему пользователи так поступили? Что они чувствовали? Один яркий инсайт из 5 интервью может быть ценнее, чем данные 5000 пользователей без контекста.
Всегда совмещайте данные! Если ваш A/B тест показал падение метрики, посмотрите на качественные данные (записи сессий, отзывы), чтобы понять почему это произошло.
Что делать с результатами? Принимаем продуктовые решения
Финальный и самый важный этап. По результатам анализа вы принимаете одно из трех решений:
1. Масштабировать/Внедрить (Win): Гипотеза подтвердилась, результаты статистически значимы и положительны. Действие можно внедрять на всех пользователей и делать полноценной частью продукта.
2. Итерировать (Learn): Гипотеза не подтвердилась или показала смешанные результаты, но вы получили ценное понимание. Пример: «Наша гипотеза не сработала, но данные показали, что пользователи не понимали новый интерфейс. Мы сформулируем новую гипотезу о том, как сделать его понятнее». Это и есть итеративный процесс улучшения и обучения – на основе полученных данных вы можете выдвигать новые гипотезы и начинать новый цикл HADI.
3. Отказаться (Fail): Гипотеза однозначно опровергнута. Это не провал, а успешное обучение. Вы сэкономили ресурсы команды на полноценную разработку и теперь можете сфокусироваться на других идеях. Обязательно задокументируйте причину отказа — это ценный актив для будущих дискуссий.
Резюме: HADI-цикл — это не просто чек-лист. Это мышление, которое превращает разработку продукта из процесса «сделал и надеялся» в процесс «предположил, проверил и узнал». Регулярное применение коротких HADI-циклов — самый эффективный способ снизить риски и создать продукт, который действительно нужен пользователям.
Про автора:
Я Даша, product manager в онлайн-школе дизайна Contented с неплохим таким бэкграундом в web dev, маркетинге, FinTech и EdTech проектах. Обожаю тему growth hacking'а, CRO и оптимизации UX/CX.