Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Как совершать меньше ошибок: кейс по работе над оптимизацией конверсий на лендинге. С определенной логикой и выводами, которыми можно пользоваться, даже если ты не growth hacker.

На продуктовых конференциях спикеры часто рассказывают про growth hacking. Мы слышим привычные и ставшие уже мертвыми истории: Инстаграм и появление Iphone, airbnb и найм фотографов, дропбокс и бесплатные гигабайты. Но их время уже прошло.

А процесс гроу на 70-80% состоит из того, что никак не сработало, и тут важно научиться не попадать в капканы гиблых гипотез надолго + уметь получать пользу из того, что не зашло.

Иногда на собеседованиях просят рассказать интересный кейс, и желательно - факап. Когда узнают, что 3 года работы посвятил growth team в компании FreeMake (компании с сильными процессами, ритуалами и командой аналитиков).

Люди на этом учатся. Расскажу о том, как в бытность growth product`ом я упоролся по идее кастомизации, и это завело в никуда. Хотя профит от этого и я и команда получили.

На тот момент growth-отдел едва стартовал. Команда изучала и внедряла современную гроу-методологию, процессы и бестпрактис. Фаундеры поддерживали как могли и верили в нас.

Мы не ставили под сомнение базовые идеи гроухакинга, а проверяли на практике. Один из принципов: качественно сформулированная ценность будет вести к росту метрик на всех этапах воронки: от рекламы - до "воскрешения" клиентов. И мы решили провести эксперимент с ценностью кастомизации (мы обращаемся к пользователю не в общем, а как бы конкретно к нему).

Предпосылки:

Максимально быстро данные мы соберем в рекламе - на самом верху продуктовой воронки. Awareness. Запускаем в Goggle Ads рекламу, где в AB-тесте участвуют два варианта. Обычная реклама конвертера и та же самая реклама с припиской "For India: special edition". По классике, просчитываем объем данных, на котором сможем увидеть достоверный рост в 20-30% (если меньше - то не сильно стоит этим заниматься).

CTR объявлений взлетает более чем на 40% Разумеется, на тот момент мы не осознаем, что рост возможен тупо из-за визуального увеличения объявлений в размере.

Я как продакт этой гипотезы засыпаю и просыпаюсь с мыслями о кастомизации всего. Лендинг, продукт, офферволлы, рассылки - ничто не устоит перед батиной гипотезой.

Как заправский Скрудж Макдак, понимаю: философский камень найден, гроухакинг отлично работает, ожидаю денежный дождь и кратный рост всех метрик. Мечта любого продакта - найти сильный драйвер роста и масштабировать.

Логичный шаг при тесте гипотезы наверху воронки - это спускать ниже то, что сработало. Сработало в рекламе - накатываем на лендинг. На софт. На офферы. Пусть весь мир покроет моя гениальная идея.

Последовательность в воронке:

Awareness - Реклама, рейтинговые площадки или СЕО-трафик

Aquisition - Установить наш софт

Activation - Получить аха-момент, то есть, обработать первый файл (добавить в софт и сконвертировать)

Revenue - офферволлы, пейволлы (платежная система)

Retention, Refferral, Resurrection - дальше с этой идеей мы пока не лезем.

Сработавшую идею можем с первого этапа протащить на последующие три. Начнем с ближайшего.

Кастомизируем сайт.

Да простят меня граждане Индии за клише, но делал я это так...

Первую попытку мы посчитали достаточной. Минимум кода, никакого дизайна, мысль отражает.

Запустили в рекламу AB-тест: старый лендинг против нового варианта с кастомизацией.

Никаких статистически значимых изменений в результате теста не увидели...

Восторг и предвкушение сменились на недоумение... Как так? Такая крутая идея, которая себя отлично проявила - и провалилась??? Значит, плохо сделали!

Как я мог предвидеть или устранить ошибки на этом этапе:

Поретирили этот вопрос, обсудили с аналитиками. Идея звучит неплохо. Возможно, реализация слишком слабая - так решили. Очереди огромной в бэклоге нет, можно перезапустить и посмотреть. Продумали дизайн "с узнаванием, чтоб точно попадать в ценности". Клише на клише, но мы команда роста: нам главное - быстро!

Повторили запуск, воодушевленные дофамином от будущего успеха...

Ну давай, расскажи мне, как ты усиливаешь и перезапускаешь гипотезы.

Никакой стат сначимой разницы не видим на заданном sample size.

Не стало ни хуже, ни лучше. Вера в то, что такая реализация даст результат - была высокая. Визуально смотрится приятно. Узнавание мест должно быть.

Но мир гипотез роста жесток.

Нормальные команды учатся на факапах. Мы - нормальные ребята. Какой вывод можно сделать из этих двух предпосылок? Правильно.

Наши выводы, или Как впредь сократить время на опыте этой истории:

Идею с кастомизацией мы прикопали. Соглашусь, есть вероятность, что на сайте кастомизация не помогла, т.к. там достигнуты предельные значения конверсий. Или акцент пользователя не на этом вовсе, а вот на пейволе могло лучше сработать...

Мысли имеют право на жизнь, но мы оценили ее как маловероятные. Прибили это направление.

Главное - обсуждать командой не только успехи, но и факапы, и делать выводы.

Прямо вот так просто: произошел факап, странный результат, какое-то событие поменяло твою картину реальности - специально собрались и написали выводы. Создали action plan - что делать, чтоб не повторилось, и кто ответственный за то, чтоб не забывали так делать.

И шаг за шагом настраиваем свои приборы на адекватное восприятие реальности.

Потратив на эту гипотезу пару недель, мы построили выводы, которые сэкономили нам месяцы. Profit!

Что скажете? Упоролись мы или все делали правильно и логично?

PS: через полгода продакт с прода решил, что "мы неправильно реализовали, надо четче попадать в ценности" - и запилил свой вариант. Результат был тем же, хотя картинка лендинга веселее. Но это уже другая история, у которой свои выводы :))

PPS: Делайте выводы, друзья!

#growth_hacking #growth_hacks #product #productmanagement #CR #landing_page #AAARRRR