Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Как совершать меньше ошибок: кейс по работе над оптимизацией конверсий на лендинге. С определенной логикой и выводами, которыми можно пользоваться, даже если ты не growth hacker.

Заветный growth

На продуктовых конференциях спикеры часто рассказывают про growth hacking. Мы слышим привычные и ставшие уже мертвыми истории: Инстаграм и появление Iphone, airbnb и найм фотографов, дропбокс и бесплатные гигабайты. Но их время уже прошло.

А процесс гроу на 70-80% состоит из того, что никак не сработало, и тут важно научиться не попадать в капканы гиблых гипотез надолго + уметь получать пользу из того, что не зашло.

Иногда на собеседованиях просят рассказать интересный кейс, и желательно - факап. Когда узнают, что 3 года работы посвятил growth team в компании FreeMake (компании с сильными процессами, ритуалами и командой аналитиков).

Ошибка выжившего

Люди на этом учатся. Расскажу о том, как в бытность growth product`ом я упоролся по идее кастомизации, и это завело в никуда. Хотя профит от этого и я и команда получили.

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

На тот момент growth-отдел едва стартовал. Команда изучала и внедряла современную гроу-методологию, процессы и бестпрактис. Фаундеры поддерживали как могли и верили в нас.

Мы не ставили под сомнение базовые идеи гроухакинга, а проверяли на практике. Один из принципов: качественно сформулированная ценность будет вести к росту метрик на всех этапах воронки: от рекламы - до "воскрешения" клиентов. И мы решили провести эксперимент с ценностью кастомизации (мы обращаемся к пользователю не в общем, а как бы конкретно к нему).

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

For India: special edition

Предпосылки:

  • Продукт глобальный, работает для клиентов во всех странах.
  • Есть ценность, которой мы можем попасть в максимум пользователей на каждой локали.
  • Эта ценность - сама локаль. Самая ближняя и понятная кастомизация - заявить пользователям: продукт сделан для вас, мы знаем ваши боли!
  • Пол, рост, вес, идеология, личностные ценности - на глобальном продукте тут сложно попасть. Подсветить, что продукт именно для этой страны - идея сыроватая, но вполне рабочая. Взяли в работу.

Максимально быстро данные мы соберем в рекламе - на самом верху продуктовой воронки. Awareness. Запускаем в Goggle Ads рекламу, где в AB-тесте участвуют два варианта. Обычная реклама конвертера и та же самая реклама с припиской "For India: special edition". По классике, просчитываем объем данных, на котором сможем увидеть достоверный рост в 20-30% (если меньше - то не сильно стоит этим заниматься).

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах
Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Пушка, бомба

CTR объявлений взлетает более чем на 40% Разумеется, на тот момент мы не осознаем, что рост возможен тупо из-за визуального увеличения объявлений в размере.

Я как продакт этой гипотезы засыпаю и просыпаюсь с мыслями о кастомизации всего. Лендинг, продукт, офферволлы, рассылки - ничто не устоит перед батиной гипотезой.

Как заправский Скрудж Макдак, понимаю: философский камень найден, гроухакинг отлично работает, ожидаю денежный дождь и кратный рост всех метрик. Мечта любого продакта - найти сильный драйвер роста и масштабировать.

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Логичный шаг при тесте гипотезы наверху воронки - это спускать ниже то, что сработало. Сработало в рекламе - накатываем на лендинг. На софт. На офферы. Пусть весь мир покроет моя гениальная идея.

Пиратская воронка AAARRRR

Последовательность в воронке:

Awareness - Реклама, рейтинговые площадки или СЕО-трафик

Aquisition - Установить наш софт

Activation - Получить аха-момент, то есть, обработать первый файл (добавить в софт и сконвертировать)

Revenue - офферволлы, пейволлы (платежная система)

Retention, Refferral, Resurrection - дальше с этой идеей мы пока не лезем.

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Попытка номер один: делаем быстро и малой кровью

Сработавшую идею можем с первого этапа протащить на последующие три. Начнем с ближайшего.

Кастомизируем сайт.

Да простят меня граждане Индии за клише, но делал я это так...

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Первую попытку мы посчитали достаточной. Минимум кода, никакого дизайна, мысль отражает.

Запустили в рекламу AB-тест: старый лендинг против нового варианта с кастомизацией.

Никаких статистически значимых изменений в результате теста не увидели...

Восторг и предвкушение сменились на недоумение... Как так? Такая крутая идея, которая себя отлично проявила - и провалилась??? Значит, плохо сделали!

Как я мог предвидеть или устранить ошибки на этом этапе:

  • Правильный вопрос себе и команде: а только ли сообщение про локаль и спешлэдишн могло повлиять на рост метрики?
  • Быстро запустить гипотезы, которые проверяют варианты ответов на первый вопрос. Например, удлинить объявление в варианте B любым другим текстом. В рекламе- явно быстрее проверить.
  • Посмотреть, а есть ли истории подобных кастомизаций вообще.
Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Гроу не сдается

Поретирили этот вопрос, обсудили с аналитиками. Идея звучит неплохо. Возможно, реализация слишком слабая - так решили. Очереди огромной в бэклоге нет, можно перезапустить и посмотреть. Продумали дизайн "с узнаванием, чтоб точно попадать в ценности". Клише на клише, но мы команда роста: нам главное - быстро!

Повторили запуск, воодушевленные дофамином от будущего успеха...

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

Ну давай, расскажи мне, как ты усиливаешь и перезапускаешь гипотезы.

Никакой стат сначимой разницы не видим на заданном sample size.

Не стало ни хуже, ни лучше. Вера в то, что такая реализация даст результат - была высокая. Визуально смотрится приятно. Узнавание мест должно быть.

Но мир гипотез роста жесток.

Факапы как трамплин

Нормальные команды учатся на факапах. Мы - нормальные ребята. Какой вывод можно сделать из этих двух предпосылок? Правильно.

Наши выводы, или Как впредь сократить время на опыте этой истории:

  • Максимально усиливать посыл, который несет в себе гипотеза.
  • Не надо стесняться. Лучше потратить больше времени: продумать, обсудить с командой и усилить. Не обязательно делать прям хорошо. Но - достаточно хорошо делать сразу.
  • Riskiest assumption test - одной неудачной гипотезой с сильной проработкой убивать не только эту гипотезу, но и целое направление мысли. Максимально жестко проверять, есть ли шанс, что сработает. Если не сработает самая сильная реализация, то слабые отпадают сразу.
  • На продаже команде гипотез всегда задавать вопрос: "А это точно самая сильная реализация? Как мы можем ее усилить?" - Сразу скажу, этот вопрос спасал нам много нервов и экономил оооочень много времени. Лучше один человек в команде продумает и подумает дольше на день, чем вся команда + разработка + дизайн + время на сбор данных... Уфффь, в итоге одному явно "дешевле" поработать головой.

Идею с кастомизацией мы прикопали. Соглашусь, есть вероятность, что на сайте кастомизация не помогла, т.к. там достигнуты предельные значения конверсий. Или акцент пользователя не на этом вовсе, а вот на пейволе могло лучше сработать...

Мысли имеют право на жизнь, но мы оценили ее как маловероятные. Прибили это направление.

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

А что здесь главное?

Главное - обсуждать командой не только успехи, но и факапы, и делать выводы.

Прямо вот так просто: произошел факап, странный результат, какое-то событие поменяло твою картину реальности - специально собрались и написали выводы. Создали action plan - что делать, чтоб не повторилось, и кто ответственный за то, чтоб не забывали так делать.

И шаг за шагом настраиваем свои приборы на адекватное восприятие реальности.

Потратив на эту гипотезу пару недель, мы построили выводы, которые сэкономили нам месяцы. Profit!

Что скажете? Упоролись мы или все делали правильно и логично?

PS: через полгода продакт с прода решил, что "мы неправильно реализовали, надо четче попадать в ценности" - и запилил свой вариант. Результат был тем же, хотя картинка лендинга веселее. Но это уже другая история, у которой свои выводы :))

Гарри Поттер и методы быстрого тестирования гипотез: учимся на своих факапах

PPS: Делайте выводы, друзья!

11
18 комментариев

Какую гипотезу тестирует Гарри Поттер в заголовке?

Ответить

Отсылка на книгу Элиезера Юдковского "ГП и методы рационального мышления"

1
Ответить

Ну люблю Гарри Поттера

Ответить