Лого vc.ru

Кейс Carrot Quest: Что такое HADI-циклы и как с их помощью ускорить развитие проекта

Кейс Carrot Quest: Что такое HADI-циклы и как с их помощью ускорить развитие проекта

Руководитель компании AppCraft Илья Красинский, команда сервиса для общения и управления пользователями на основе их поведения Carrot Quest, а также представители фонда ФРИИ провели воркшоп, главной задачей которого было улучшение юнит-экономики пяти стартапов с использованием методологии HADI–циклов.

Дмитрий Солдатов из команды Carrot Quest подготовил для рубрики Growth Hacks материал на основе прошедшего воркшопа.

Поделиться

HADI-циклы — это один из инструментов методологии, с помощью которой в акселераторе ФРИИ «прокачивают» стартапы. Суть HADI очень проста. Почти любое действие оказывает влияние на какую-то определенную метрику. Если изменения «прикрутить» к показателям заранее (сформулировать гипотезы), то весь процесс изменений будет контролируемым. Словом, вы будете понимать, как ваши действия повлияли на результат, и сможете быстро тестировать идеи, отбрасывая нерабочие.

Вот как выглядит HADI-цикл:

  1. Гипотеза (Hypothesis). Записываем гипотезы, то есть изменения (ваши действия), которые могут улучшить показатели вашей экономики. Например: «изменение заголовка увеличит конверсию в регистрацию на лендинге на 5%». В первую очередь, нужно генерировать гипотезы по тем показателям, изменение которых важно в ближайшее время. Это значит, что если есть проблема с конверсией в регистрацию, то необходимо генерировать те идеи, которые напрямую повлияют на этот показатель.
  2. Действие (Action). В начале каждого цикла (у нас это каждая неделя) берем несколько гипотез и начинаем их воплощать в жизнь. Например, мы переписываем заголовки, и добавляем туда выгоду для клиента. Главная формула — делать быстро. Если изменение принесет пользу, улучшить его и масштабировать будет несложно. Главное в HADI — это оперативная проверка.
  3. Сбор данных (Data). Начинаем сбор данных о показателях, на которые повлияет изменение. В нашем примере это конверсия в регистрацию. Чтобы показатели отражали реальные изменения, выборка (количество посетителей за время тестирования) должна быть репрезентативной. Об этом подробнее поговорим дальше.
  4. Выводы (Insights). Анализируем, сработала ли гипотеза. Если да, то планируем ее улучшение, масштабируем.

Не все гипотезы будут подтверждаться. Чтобы не терять время на слабые гипотезы, можно использовать специальный алгоритм ранжирования, который мы разберем ниже.

Не проверяйте одновременно несколько гипотез, которые влияют на одну метрику, так как вы не поймете, какая именно гипотеза сработала, что изменило показатель. Например, изменили описание продукта на сайте и сделали другую систему оплаты. Количество покупок упало, почему? На этот вопрос ответ найти будет сложно.

О практике HADI

В воркшопе участвовали пять стартапов:

  • Carrot Quest (сервис для общения и управления пользователями на основе их поведения, это мы);
  • LPmotor (сервис по быстрому созданию лендингов);
  • SkyparkCDN (CDN, сервис доставки контента, ускоряют загрузку контента);
  • PlayKey (облачный игровой сервис, который позволяет запускать современные игры на любом устройстве);
  • Capsidea (сервис для визуализации данных).

В процессе работы подключилось еще несколько команд.

Мы с Ильей Красинским проанализировали лэндинги всех стартапов, о чем напишем отдельную статью. После анализа каждый стартап уже знал свои проблемные места и понимал, в каком направлении начинать работу.

Команды с помощью мозгового штурма записали ряд гипотез, которые позже занесли в специальную таблицу.

Вера в эффект показывает, насколько команда верит в данную гипотезу. Сложность реализации отражает, как много ресурсов потребуется для проверки гипотезы (1 — просто, 5 — сложно).

Вот пример нескольких гипотез от разных команд:

Каждая команда сформулировала по 10 разных гипотез.

Чтобы продолжить работу, нужно выстроить гипотезы по приоритетности. Список должны возглавлять самые значимые гипотезы, а слабые должны отбрасываться (чтобы не тратить дорогое время на их проверку). Если вера в эффект низкая, а сложность реализации высокая, то стоит отложить такую задачу.

Далее стартапы в течение недели тестировали свои гипотезы (примерно по 2-3 гипотезы на каждую команду). Для объективности тестов всем проектам была поставлена задача: привлечь 3000 посетителей за неделю. При такой посещаемости доверительный интервал (погрешность) около 1%, а это значит, что если конверсия увеличится или уменьшится больше чем на 1%, то причина тому — наше изменение. Если менее 1%, то это просто погрешность: изменения повлияли незначительно.

Для большинства команд это было первым опытом работы с HADI-циклами. Кто-то проверил 2-3 гипотезы, кто-то успел только 1. Ряд гипотез подтвердились, а некоторые, наоборот, привели к обратному результату (показатели ухудшились).

Неделя — оптимальный срок для коротких итераций, в акселераторе команды анализируют свои HADI-циклы раз в неделю на субботнем трекшн-митинге, и на нем же ставят план по тестированию гипотез на следующую неделю, это помогает им фокусироваться. Основная ценность для стартапа в том, что каждая команда быстро проверяет несколько идей и видит, какие из них работают. Также команда получает обратную связь, если при этом показывает свои результаты экспертам и другим командам в Акселераторе или на подобном воркшопе.

Пример работы с гипотезами от Carrot Quest

Небольшая вставка о нас, чтобы вы понимали нашу специфику. Carrot Quest — это сервис для общения и управления пользователями на основе их поведения. Мы объединили инструменты интернет-маркетинга: eCRM, онлайн-чат, всплывающие окна, email-рассылки и веб-аналитику. Наша целевая аудитория — это SaaS-сервисы, интернет-магазины и интернет-проекты.

Главной задачей для нас было увеличение конверсии в регистрацию, поэтому мы выстраивали свои гипотезы именно под этот показатель.

Вот работа над одной из гипотез:

Как было:

Мы решили показать, что лидеры различных сегментов рынка уже используют автоматизацию маркетинга и персональные коммуникации в своих проектах. Нашли те компании, которые точно автоматизируют маркетинг, и использовали их названия в заголовке.

Как стало:

В этом заголовке названия компаний менялись (Ikea, Kaspersky, Intel и так далее). Остальные заголовки и кнопки на странице мы тоже изменили.

В итоге роста конверсии в связи с этим мы не увидели. Поэтому уже тестируем следующие гипотезы. Если интересно, какие результаты получились в следующих тестах — пишите в комментариях, расскажем.


Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.
Статьи по теме
Процесс роста: Как использовать сервис управления проектами Trello для организации работы гроусхакера17 октября 2014, 14:08
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Для объективности тестирования надо было оставить текущие показатели посещаемости проектов с определением погрешностей для каждого из них.

0

Евгений, это было сделанно. В течении двух недель собирали статистику, прежде чем начать тесты

Интересно какая фундаментальная проблема есть в этих hadi, a/b и прочих методиках, которая не позволяет отличить их от рукоблудия?

Сложно даже сформулировать, настолько это тонкие, и в то же время решающие черты.

"Дау, Мау, зажигать надо, вы чо!?" (с)

Либо руками, либо головой. В остальном тоже самое: смотрим на экран, работаем, профит

0

Вариант, в общих чертах... а вдруг возьмете попробовать: сделайте наоборот - значительно меньше инфы про ваш сервис на ЛП. Значительно. Упор на то, что там круто изменит прибыль и конверсию по сайту, крутая штука и 14 дней бесплатно после регистрации, а осталось на эту акцию 8 часов и 42 места, дальше платно. и часики тикают, плюс неравномерно по времени 42 превратилось в 41, а потом 41 в 40, пока юзверь на странице.
В общих чертах, надеюсь понятно описал гипотезу.
В 5 раз меньше инфы про сервис.

0

Это к эксперименту по повышению конверсии в регистрации.

0

Юра, спасибо.
Будем пробовать.

Вы странные.
За время тестирования ни разу со мной никто не связался, только рассылки, от которых под конец начало подташнивать. Возможно, у вас просто нет ресурсов, чтобы связываться с клиентами, но автоматические рассылки тем, кто возможно захочет использовать ваш сервис..ну как-то не оч, вы ж не юнисендер какой-то)
Это одна из причин, почему я выбрал вашего конкурента, например, хотя некоторый функционал мне понравился у вас больше.

0

Ну, это я к тому, что повышать конверсии на регистрации нужно после нормальной работы уже с потенциальными клиентами, которые пробуют ваш сервис.
Ведь их конвертация в постоянных клиентов существенно больше, чем тех, кто даже не зарегался.

0

Основная проблема в том, что правильное/лучшее решение может не попасть в гипотезу. Имхо.

Так же, имхо, все эти хади и сплиты в итоге могут улучшить конверсию любого типа максимум на 20% от предыдущего значения (примерно. кстати ребята сразу ошибочно заложили 40% - биливеры своего продукта и высокая вера в свой опыт и возможности). То есть, другими словами, это полировка. Важней всего сложить первую гипотезу, первую модель. И потом важно сложить еще пару КАРДИНАЛЬНО отличающихся от первой гипотезы. Вот тут уже разницы могут быть и в 300%. Но это тонкий вопрос, это как искусство скорее, а не цифры и алгоритм.

Чую закидают тапками, но как-то в последний год ФРИИ мне сильно напоминает БМ. Не, круче конечно... но напоминает :)

Статья информативная и полезная для меня, искреннее спасибо, Керрот. Я уже ваш платный клиент с прошлой статьи, пока довольны ;)

Уже 5 лет использую подобный метод при разработке, но только сейчас узнал что это hadi ) Больше абривиатур богу абривиатур!

Крутая статья, спасибо!
В целом, если проверять влияние изменений на сайте на конверсию и другие показатели. , то здесь никак не обойтись без A/B тестирования.
В кейсе, который упоминается в конце статьи была достигнута статистическая значимость? Сколько конверсий было на каждом варианте и как долго проводился эксперимент?

0

Мы потом еще проводили эксперимент в течении недели для получения статистически значимых показателей. В итоге - конверсия не изменилась.

0

Понятно. В таком случае - ок
А чем пользовались для A/B тестинга?

0

АБ тест не делали. В нашем случае у нас была только неделя и мы понимали что за это время привести в 2 раза больше трафика не сможем. Поэтому поменяли заголовки, без изменения каналов привлечения пользователей.

Когда есть время, мы АБ тест делаем своим же сервисом. Он можем менять содержание страницы под разные сегменты пользователей. И воронки строить может. Все в одном месте. Удобно

0

Спокойно парни. Эта статья - часть маркетинговой стратегии по статейному продвижению нового сервиса (Carrot Quest) и заодно Ильи Красинского.
Все остальное (стартапы, таблички), и даже те самые HADI циклы - необходимый упаковочный материал.

Алексей, вы правы. Мы работаем чтобы приносить пользу и зарабатывать. И не скрываем этого.

Гипотеза показать выгоды в целом верная, но сами выгоды не очевидны. Рост конверсии 355% - это о чем? Суммарно по всем 918 сайтам? Или в среднем? Мне, как потенциальному клиенту, важно то, что касается только меня, поэтому общие цифры скорее отпугнут, чем привлекут.

0

Максим, спасибо за обратную связь. Мы тоже так подумали. Сейчас тестируем другую гипотезу. С мальчиком и девочкой))

0

Как поняли, что при 3000 посетителей зп неделю - погрешность 1%, а не 15%?

0

По формуле доверительного интервала)
Напишите в личку, кину ссылку на гугл таблицу с забитой формулой.

0

Конверсия из разных источников трафика будет отличаться. Можно привлечь +3000 менее целевого трафика на сайт и из-за этого получить плохие результаты, хотя сама гипотеза может сработать в плюс. Как вы это учитываете при оценке результата, если не используете A/B тесты?

Согласен на счёт разных источников трафика.
Интересно, откуда трафик во основном шёл во время эксперимента? Анализировали результаты эксперимента по различными сегментам?

Вы правы, трафик должен быть однородным. И конечно лучше проводить АБ тест. Только сначала АА тест.

в нашем случае каналы не менялись. Использовать АБ тест мы не могли, т.к. понимали что за неделю привести в 2 раза больше посетителей не сможем. Ждать в два раза дольше тоже.
Поэтому в выводах правильно добавить вариант: изменилась структура трафика.

0

так нужно отдельно для каждого кластера пользователей (в базовом случае траффик+девайс) сплит-тестирование проводить т.к. не стоит ожидать что пользователь, который зашел с мобильно стоя в пробке, будет реагировать точно так же как пользователь который утром перед работой проверил с компьютера.

0

если есть интерес публики - можем выложить кейсы.

0

> Так же, имхо, все эти хади и сплиты в итоге могут улучшить конверсию любого типа максимум на 20%

Простите, прокомментирую, это не так. Своими руками поднимал конверсию с 9% до 16% в регистрацию, с 1% до 3% в покупку и т.д.

Важно другое, очень часто наш мозг считает, что небольшие улучшения дают небольшой эффект. Но экономика бизнеса не так работает. Часто малые улучшения конверсии дают улучшение ARPU, скажем до c 2$ до 3$, а стоимость привлечения была 2$. На 100 000 пользователей получается разница в 100 000 × (−2$ + 3$) = 100 000 $. И ради этого стоит заниматься HADI и сплит-тестами.

К слову в кейсах выше, 1 процентного пункта в регистрацию давал 24 000$ в прибыль, во втором кейсе рост конверсии на 0,5 п.п. дал рост в 20 000$.

Как раз про это я стараюсь постоянно рассказывать, в экономике есть несколько мест, где малое изменение дает существенный эффект и мне кажется важно, что все больше людей применяет этот опыт, совсем не сокровенное знание.

Вы говорите о 100 000 посетителей. Это не "небольшие улучшения", а небольшие улучшения на БОЛЬШОМ потоке ЦА. И это важно.

>К слову в кейсах выше, 1 процентного пункта в регистрацию давал 24 000$ в прибыль, во втором кейсе рост конверсии на 0,5 п.п. дал рост в 20 000$

Тут я не точно понял, о керротквесте речь? Если 1% дает 24к$ прибыли, значит текущая прибыль керротквеста = 240к$ примерно? За какой период? И опять: небольшие изменения на потоке, дающем БОЛЬШУЮ прибыль (по моим меркам).

В этом и суть. Полировка. Именно за счет больших объемов.

>>поднимал конверсию с 9% до 16% в регистрацию, с 1% до 3% в покупку

Изложите коротко суть этих двух кейсов, пожалуйста. Сильно-сильно подозреваю, что Вы не_свою_конверсию 9% и 1% довели своим профессиональным вмешательством до 16% и 3% соответственно.
Если я ошибся в ванговании, то тем более эти 2 кейса будут крайне полезны. Для меня, по крайней мере.

Наконец: Вы не оспариваете, что верная гипотеза может не попасть в HADI, или сплит?

И да, согласен, что HADI - важный, нужный и эффективный инструмент.

0

Предлагаю вам по другому посмотреть на картинку.

1.
> В этом и суть. Полировка.
Это не так. Если полировка удваивает чистую прибыль продукта в 2-4 раза, это не полировка (см. кейсы Ultimate Guitar, например).

2.
> Именно за счет больших объемов.
Опять же, предлагаю увидеть всю картинку. Вот цифры реального кейса 2014—2015 года (под NDA, простите. Делали не мои руки, но с моей головой).

10 000 привлекаем в месяц, стоимость привлечения 1$, конверсия 3%, доход на платящего 6$, доход с привлеченного 3%*6$ = 0,18 центов. Экономика не сходиться. Жизнь боль.

Команда снижает стоимость привлечения до 0,4$ в фейсбуке (снимаю шляпу за их упорство и число хаков), повышает конверсию и доход с платящего и их ARPU, доход с привлеченного вырастает до 0,8—1$. Команда сводит экономику и может позволить привлекать 100 000 пользователей в месяц.

Т.е. "на масштабе" – это следствие "полировки" в ваших терминах.

2.
цифры в прошлом комментарии, конечно, не carrotquest. Думаю уже можно озвучить (компании все очень болезнено относятся к раскрытию цифры), они относятся к 2012 году, например, LinguaLeo, Ultimate Guitar, что-то полезное там мне удалось сделать.

И +1 п.п. в регистрацию не означает доходы в 240 000$, а означает что рост на 1 п.п. конверсии в регистрацию увеличит доходы на 24 000$ (дальнейший рост кстати, если посчитаете экономику, не будет таким сильным — узкое место будет смещаться и конверсия в регистрацию будет давать меньший эффект).

3.
То же и в 2014 и 2015 году происходит. Команд, которые кратно меняют свои метрики не много, но они есть. После нашего общения и работы я видел кратный рост, например, в совсем начинающих командах. И в depo.fm и в его конкуренте Где запчасть (да им еще работать и работать над продуктом). И еще в десятках команд, например, ФРИИ (уж не знаю, что тут местные хейтеры про все это думают).

4.
Я рассказываю про свои кейсы, опыт, метрики, экономику, активацию, 1ю сессию и игровые циклы, потому как крайне мало обмена опытом и знаниями вокруг. Общей уровень экспертизы растет, но не так быстро как хотелось бы.

Да и я быстрее расту, когда узнаю про чужой опыт удач и ошибок.

5.
Комментаторам выше: совсем не интересно спорить, особенно, когда задача комментатора самоутвердиться за счет молодых команд. Интересно обменяться опытом.

Расскажите, что у вас получилось с гипотезами, что не сработало, почему.

P.S. Да, HADI не панацея и верных гипотез мало, а неверные лучше бы и не проверять, но так не получается, по крайней мере у меня. Дай бог срабатывает одна из 10.

Расскажите как у вас?

0

>>Комментаторам выше: совсем не интересно спорить, особенно, когда задача комментатора самоутвердиться за счет молодых команд

Я комментатор выше. Это Вы про меня написали, что у меня задача самоутвердиться за счет кэррот? Это не так.

>>Расскажите, что у вас получилось

Окей. По теме статьи: если вспоминать свежее и с конверсией посетителей лендинга в регистрации - у меня 22%-27% с первой гипотезы, 27% как раз когда меняли заголовки, расположение блоков и другие нюансы (то есть HADI). Отчасти ориентируясь на такой процент я и предположил, что не нужно полировать, а нужно попробовать совсем другие лендинги. И даже предложил свой вариант. Конечно, далеко не факт, что он сработает. Скорей всего нет.

0

Не принимайте близко к сердцу, я скорее ко всему топику и тону комментариев написал, чтобы развернуть разговор в интересную тему.

Кажется, как это часто бывает, мы дошли до вопроса терминологии. Не скажу за всех, но по мне HADI – это просто любая гипотеза, а не только смена заголовков и блоков. Любое изменение, полный редизайн тоже хади, только сложность реализации огромна, а эффект не предсказуем.

В чисто в смену заголовков (аля лучшие примеры презентаций basecamp'a), я не верю, наигрался в ЛЛ с этим. Иногда да, это дает рост, но и правда — полировка.

Примеры гипотез, которые срабатывали.
До экрана с кнопкой купить доходить только 10% пользователей (т.е. большинство не знает о возможности доп. покупок в приложении).

HADI: если мы перенесем предложение купить в начало 1й сессии, так что его увидит 100% пользователей и внятно напишем выгоду покупки, то повысим метрики: конверсию в число людей которая столкнется с покупкой, частоту столкновения с покупкой, конверсию в покупку. Рост на 0,3 п.п. конверсии в покупку будет статистически значимым на недельной когорте новых пользователей, даст эффект X в доход. Сложность реализации 2 (просто оценка по 5ти бальной шкале, где 5 максимум).

(погрешность измерений на недельной когорте новых 20 000 пользователей равна:
2 × sqrt(1% × (100% − 1%)/20 000) = 0,14%.

Кстати, а как коллеги вы хади гипотезы формулируете.

Пояснение формуле Ильи:

Доверительный интервал = Z * SQRT(OB*(1-OB)/N),
где Z - константа, для 95% интервала - 1.96, 99% - 2.57
OB - наблюдаемый результат (в формуле выше он равен 1% - конверсия в покупку от всех)
N - количество измерений.

Это самый простой расчет интервала, но его для маркетинговых целей обычно достаточно. Имейте ввиду, что если у вас измеряемая конверсия 1%, а вы провели всего 1000 наблюдений, то ошибка будет +/-0.6%. То есть, для фиксации достоверных изменений действительно требуется 10+ тыс. наблюдений.

Да, спасибо большое за коммент ).

С вероятностью 95% конверсия будет лежать в диапазоне
conv ± 2 × sqrt( conv × (100% − conv) / N).

Если кто помнит мат. статистику, то 2 ← это 2 сигмы.
crypto.hut2.ru/sigm.png → на этой картинке 2 сигмы влево и вправо, как раз показано что дают площадь в 95,44% точности.

0

Если для того, чтобы делать хади, командам надо проходить воркшоп, у команд нет шансов. Тем более, результаты нулевые, судя по отчетам.
Инвесторы, забирайте деньги, если сможете.

На воркшопе непосредственно про ходи было минут 30. По остальной части контент еще пишется.
Спасибо, что так оптимистично настроены)

0

> Для большинства команд это было первым опытом работы с HADI-циклами

сочувствую инвесторам)

0

"облачный игровой сервис, который позволяет запускать современные игры на любом устройстве"

На любом десктопе по Виндоус или Мак ОС. Извините, что не в тему.

0

Насколько я знаю, на телевизионных приставках и устройствах на Андроиде тоже.

0

Carrot Quest, уменьшите количество символов в заголовке, перепишите текст. В вашем «Было» знаков меньше и читается он проще.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Андрей Малолин

Так начинающему или совсем без опыта работы?

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Константин Фанки

Что за Codewise? Кто нибудь слышал про них до этого рейтинга?

Avito оказалась единственным российским представителем в рейтинге Deloitte Technology Fast 500
0
Den Neustroev

Складывается впечатление, что вы из Avito.

Avito оказалась единственным российским представителем в рейтинге Deloitte Technology Fast 500
1
Gregory Golovanov

У нимакс вполне себе московский ценник

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
GaLL

Подскажите где и как лучше искать стажировку начинающему веб дизайнеру (без опыта работы) в Казани? Готов ухватиться за любую возможность.

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Показать еще