Как совершать меньше ошибок: кейс по работе над оптимизацией конверсий на лендинге. С определенной логикой и выводами, которыми можно пользоваться, даже если ты не growth hacker.
Заветный growth
На продуктовых конференциях спикеры часто рассказывают про growth hacking. Мы слышим привычные и ставшие уже мертвыми истории: Инстаграм и появление Iphone, airbnb и найм фотографов, дропбокс и бесплатные гигабайты. Но их время уже прошло.
А процесс гроу на 70-80% состоит из того, что никак не сработало, и тут важно научиться не попадать в капканы гиблых гипотез надолго + уметь получать пользу из того, что не зашло.
Иногда на собеседованиях просят рассказать интересный кейс, и желательно - факап. Когда узнают, что 3 года работы посвятил growth team в компании FreeMake (компании с сильными процессами, ритуалами и командой аналитиков).
Ошибка выжившего
Люди на этом учатся. Расскажу о том, как в бытность growth product`ом я упоролся по идее кастомизации, и это завело в никуда. Хотя профит от этого и я и команда получили.
На тот момент growth-отдел едва стартовал. Команда изучала и внедряла современную гроу-методологию, процессы и бестпрактис. Фаундеры поддерживали как могли и верили в нас.
Мы не ставили под сомнение базовые идеи гроухакинга, а проверяли на практике. Один из принципов: качественно сформулированная ценность будет вести к росту метрик на всех этапах воронки: от рекламы - до "воскрешения" клиентов. И мы решили провести эксперимент с ценностью кастомизации (мы обращаемся к пользователю не в общем, а как бы конкретно к нему).
For India: special edition
Предпосылки:
- Продукт глобальный, работает для клиентов во всех странах.
- Есть ценность, которой мы можем попасть в максимум пользователей на каждой локали.
- Эта ценность - сама локаль. Самая ближняя и понятная кастомизация - заявить пользователям: продукт сделан для вас, мы знаем ваши боли!
- Пол, рост, вес, идеология, личностные ценности - на глобальном продукте тут сложно попасть. Подсветить, что продукт именно для этой страны - идея сыроватая, но вполне рабочая. Взяли в работу.
Максимально быстро данные мы соберем в рекламе - на самом верху продуктовой воронки. Awareness. Запускаем в Goggle Ads рекламу, где в AB-тесте участвуют два варианта. Обычная реклама конвертера и та же самая реклама с припиской "For India: special edition". По классике, просчитываем объем данных, на котором сможем увидеть достоверный рост в 20-30% (если меньше - то не сильно стоит этим заниматься).
Пушка, бомба
CTR объявлений взлетает более чем на 40% Разумеется, на тот момент мы не осознаем, что рост возможен тупо из-за визуального увеличения объявлений в размере.
Я как продакт этой гипотезы засыпаю и просыпаюсь с мыслями о кастомизации всего. Лендинг, продукт, офферволлы, рассылки - ничто не устоит перед батиной гипотезой.
Как заправский Скрудж Макдак, понимаю: философский камень найден, гроухакинг отлично работает, ожидаю денежный дождь и кратный рост всех метрик. Мечта любого продакта - найти сильный драйвер роста и масштабировать.
Логичный шаг при тесте гипотезы наверху воронки - это спускать ниже то, что сработало. Сработало в рекламе - накатываем на лендинг. На софт. На офферы. Пусть весь мир покроет моя гениальная идея.
Пиратская воронка AAARRRR
Последовательность в воронке:
Awareness - Реклама, рейтинговые площадки или СЕО-трафик
Aquisition - Установить наш софт
Activation - Получить аха-момент, то есть, обработать первый файл (добавить в софт и сконвертировать)
Revenue - офферволлы, пейволлы (платежная система)
Retention, Refferral, Resurrection - дальше с этой идеей мы пока не лезем.
Попытка номер один: делаем быстро и малой кровью
Сработавшую идею можем с первого этапа протащить на последующие три. Начнем с ближайшего.
Кастомизируем сайт.
Да простят меня граждане Индии за клише, но делал я это так...
Первую попытку мы посчитали достаточной. Минимум кода, никакого дизайна, мысль отражает.
Запустили в рекламу AB-тест: старый лендинг против нового варианта с кастомизацией.
Никаких статистически значимых изменений в результате теста не увидели...
Восторг и предвкушение сменились на недоумение... Как так? Такая крутая идея, которая себя отлично проявила - и провалилась??? Значит, плохо сделали!
Как я мог предвидеть или устранить ошибки на этом этапе:
- Правильный вопрос себе и команде: а только ли сообщение про локаль и спешлэдишн могло повлиять на рост метрики?
- Быстро запустить гипотезы, которые проверяют варианты ответов на первый вопрос. Например, удлинить объявление в варианте B любым другим текстом. В рекламе- явно быстрее проверить.
- Посмотреть, а есть ли истории подобных кастомизаций вообще.
Гроу не сдается
Поретирили этот вопрос, обсудили с аналитиками. Идея звучит неплохо. Возможно, реализация слишком слабая - так решили. Очереди огромной в бэклоге нет, можно перезапустить и посмотреть. Продумали дизайн "с узнаванием, чтоб точно попадать в ценности". Клише на клише, но мы команда роста: нам главное - быстро!
Повторили запуск, воодушевленные дофамином от будущего успеха...
Ну давай, расскажи мне, как ты усиливаешь и перезапускаешь гипотезы.
Никакой стат сначимой разницы не видим на заданном sample size.
Не стало ни хуже, ни лучше. Вера в то, что такая реализация даст результат - была высокая. Визуально смотрится приятно. Узнавание мест должно быть.
Но мир гипотез роста жесток.
Факапы как трамплин
Нормальные команды учатся на факапах. Мы - нормальные ребята. Какой вывод можно сделать из этих двух предпосылок? Правильно.
Наши выводы, или Как впредь сократить время на опыте этой истории:
- Максимально усиливать посыл, который несет в себе гипотеза.
- Не надо стесняться. Лучше потратить больше времени: продумать, обсудить с командой и усилить. Не обязательно делать прям хорошо. Но - достаточно хорошо делать сразу.
- Riskiest assumption test - одной неудачной гипотезой с сильной проработкой убивать не только эту гипотезу, но и целое направление мысли. Максимально жестко проверять, есть ли шанс, что сработает. Если не сработает самая сильная реализация, то слабые отпадают сразу.
- На продаже команде гипотез всегда задавать вопрос: "А это точно самая сильная реализация? Как мы можем ее усилить?" - Сразу скажу, этот вопрос спасал нам много нервов и экономил оооочень много времени. Лучше один человек в команде продумает и подумает дольше на день, чем вся команда + разработка + дизайн + время на сбор данных... Уфффь, в итоге одному явно "дешевле" поработать головой.
Идею с кастомизацией мы прикопали. Соглашусь, есть вероятность, что на сайте кастомизация не помогла, т.к. там достигнуты предельные значения конверсий. Или акцент пользователя не на этом вовсе, а вот на пейволе могло лучше сработать...
Мысли имеют право на жизнь, но мы оценили ее как маловероятные. Прибили это направление.
А что здесь главное?
Главное - обсуждать командой не только успехи, но и факапы, и делать выводы.
Прямо вот так просто: произошел факап, странный результат, какое-то событие поменяло твою картину реальности - специально собрались и написали выводы. Создали action plan - что делать, чтоб не повторилось, и кто ответственный за то, чтоб не забывали так делать.
И шаг за шагом настраиваем свои приборы на адекватное восприятие реальности.
Потратив на эту гипотезу пару недель, мы построили выводы, которые сэкономили нам месяцы. Profit!
Что скажете? Упоролись мы или все делали правильно и логично?
PS: через полгода продакт с прода решил, что "мы неправильно реализовали, надо четче попадать в ценности" - и запилил свой вариант. Результат был тем же, хотя картинка лендинга веселее. Но это уже другая история, у которой свои выводы :))
PPS: Делайте выводы, друзья!
Какую гипотезу тестирует Гарри Поттер в заголовке?
Отсылка на книгу Элиезера Юдковского "ГП и методы рационального мышления"
Ах вон оно что. Так это надо дальше писать, Юдковский методы рационального мышления в сотнях ситуаций описал :)
Это ладно, что по статье скажете? =)
Было интересно. Я в маркетинге полный ноль, для меня даже идея, что гипотезу можно/нужно тестировать постепенно по воронке продаж - откровение.
.
Вот думаю, каким местом этот опыт приложить к своему продукту… и ничего не придумывается. А мой продукт, это сайт, где ГПиМРМ публиковался в процессе перевода: https://fanfics.me/fic40982 :)
читал на вашей площадке и МРМ и Червя
читателей к вам по моему опыту приводят переводчики
сайта про фанфики, который конкурент вашему я не знаю, если вы имеете ввиду самлиб или автортудей, то вы хоть и конкуренты, но у вас разное позиционирование, в головах пользователей вы ресурс с переводами фанфиков, просто судя по названию сайта
эту свою узкую нишу вы вполне заняли и она очевидно меньше, чем авторская
Это ваш конкретный интерес коснулся только переводов. Даже в рамках Фанфикса переводы составляют совсем небольшую часть контента и аудитории, важную и приятную, но небольшую.
но большая часть все равно фанфики, а не авторские произведения?
А! Под авторскими вы подразумевали оригинальные произведения, не фанфики. Да, конечно, большая часть контента - фанфики и переводы фанфиков.
Конкурент - ficbook.net
СИ, АТ, ЛН не конкуренты, хотя авторов тоже перетягивают. Не редко авторы сначала пишут фанфики, а потом уходят на упомянутые площадки писать оригинальные произведения и пытаться с них зарабатывать. Кто-то в фанфикшене тоже остаётся, а кто-то предпочитает удалить из сети свои фанфики, чтобы ассоциироваться у читателей только с оригинальными книгами.
ааа, про сайт слышал, но ни разу на него не заходил, ну раз у него в 50 раз больше пользователей, то вам надо выяснить почему, самое простое это составить кастдев интервью из нескольких вопросов и писать напрямую авторам конкурентов, что бы узнать почему они предпочитают ту площадку, а не вашу
Очень зависит от того, какие метрики для Вас ключевые.
Через объявления можно хорошо тестировать гипотезы ценности, находить то, что отзывается у пользователей.
А как монетизируется Ваш проект, и масштабируема ли монетизация?
Реклама. Пользовательский контент в серой зоне - вторичная литература, на ней нельзя зарабатывать автору, поэтому и площадка в пролёте.
Главный конкурент, последние пару лет активно доит постоянных посетителей: платный аккаунт по подписке (отключение рекламы и незначительные дополнительные функции), подарки авторам и комментаторам (как в ВК - просто картинка), внутреннее платное продвижение произведений. Но у него активных пользователей раз в 50 больше.
Главная метрика - посещаемость. Читатели придут, если будет что читать. Поэтому возможный драйвер роста - привлечение новых авторов (а по факту перетягивание их от конкурента) и их удержание. Будут новые авторы - будет больше контента - будут новые читатели - будет больше доход от рекламы.
Недооценил масштабы популярности темы... В общем, я бы начал с анализа конкурента. И bounce rate у Вас более чем на 30% выше - надо с ним работать, чтоб траф рос.
А траф есть, и миллионный.
Реальный процент отказов 17%, он велик из-за большого процента поискового трафика. Но растить надо прямой трафик, там отказов нет, люди заранее знают, куда они идут.
Конкурент "уже сделал" - у него в 100 раз больше контента. Среднее качество ниже, но объем и выбор для читателя... в 100 раз больше.
Вот такие бывают задачки в смешной и совсем не коммерческой нише =)
.
Спасибо за уделённое время.
Метрика Яндекса и Г.Аналитика считают отказы по-разному. В одном может быть 17% (Яндекс), а в Гугле больше, например.
Я тут не большой советчик, в Вашей теме ничего не понимаю.
Но АБ-тесты вряд ли на малом трафике принесут пользу.
1. Я бы начал с анализа тематик, по которым еще нет сайтов, подобных Вашему, но есть спрос. Пусть небольшой, но устойчивый (это если заработок важен, а не концентрация на этой тематике).
Почему концентрация именно на фанфиках? Чем они лучше любительских переводов с древнегреческого, к примеру?
2. Если зарубаться с конкурентом, неплохо проанализировать его траф (симиларвеб в помощь). Что-то он делает такого, что юзеров в 50 раз больше? Что-то делает. Или уже сделал. Не обязательно изобретать новое. Можно повторить или улучшить то, что есть.
3. Как применить механики вроде RAT и метрики вроде AAARRRR? Тут сложно, если генератор прибыли у Вас - это трафик, который идет на контент, то ранжирование я бы не стал проверять быстрыми тестами. Тесты сразу дают многое понять, когда траф измеряется миллионами. Думаю, это не Ваш случай.
Начните с анализа конкурента.
Прошу прощения, я тут про переводы почему-то подумал... в теме UGS вообще ничего не понимаю, могу сильно ошибаться в своих предположениях =))
Ну люблю Гарри Поттера