Мы нарушили правило запуска гипотезы и вот что из этого вышло

Через 5 минут вы узнаете, что простые правила придуманы не просто так. И что бывает, когда вы решили им не следовать.

Пару слов о нашей команде

Додо Пицца в первую очередь ассоциируется с доставкой, которая составляет львиную долю нашей выручки. Но рестораны у нас тоже классные! Хотелось, чтобы больше людей приходило к нам в гости, и в 2020 году мы взяли фокус на развитие ресторанов. Так появилась наша команда — команда клиентского опыта в ресторане. В 2021 году мы запустили заказ в зал из приложения, дали гостям возможность заказывать из приложения прямо до столика, сделали поиск по продуктам и добавили в приложение подсказку о ближайшем к клиенту ресторане. И выручка ресторанов стала расти!

Ресторан Додо Пиццы
Ресторан Додо Пиццы

Предыстория

У нас, как и у всех, с начала 22 года были долгосрочные планы и масштабные проекты, но пришло 24 февраля, с ним смена фокусов, планов и небольшая суета.

Основной целью стала выручка. Нам нужно было, как минимум, не давать ей упасть, а ещё лучше — увеличивать. Поэтому мы подвинули свои проекты, которые принесут пользу «когда-нибудь потом», и решили по-быстрому тестить гипотезы и запускать фичи, которые принесут деньги здесь и сейчас. Тут и засветилась давно запыленная в бэклоге карточка «Абонементы на кофе».

Мы нарушили правило запуска гипотезы и вот что из этого вышло

Абонементы на кофе? Неплохо! Давайте делать!

Времени углубляться в исследования и брейнштормы у нас не было, поэтому произошло примерно так: «А давайте сделаем абонементы на кофе, давно хотели». Это была вполне понятная и интересная идея: запускаем абонементы на кофе в приложении, клиенты, которые их купят, будут чаще приходить в пиццерии, покупать дополнительно к кофе маффин, кусочек пиццы или додстер и таким образом генерировать нам выручку. Кто-то не будет забирать все 14 чашек, так что кофе будет не с таким сильным дисконтом.

Так мы представляли себе клиентов, купивших абонемент
Так мы представляли себе клиентов, купивших абонемент

Других таких же простых идей не было, как и эмоциональных сил выдумывать что-то ещё, поэтому мы ухватилсь за неё изо всех сил.

Сразу ударились в прожарку: как быстро разработать? А как будет выглядеть в приложении? Насчёт критериев успеха не собирали никаких встреч и не думали отдельно. Всё казалось просто — запускаем гипотезу и дальше смотрим, как вырастет выручка!

И под этим «как» скрывалось слишком много.

Сделали быстрый MVP и зарелизили. Начинаем эксперимент

Когда мы горим, то делаем очень быстро (разработка заняла один двухнедельный спринт). И получилось то, что получилось: решение было не масштабируемым, с возможными косяками, которые мы, если что, готовы были закрыть через техподдержку. Поэтому запустили абонементы только в 4 городах: Москва, Нижний Новгород, Краснодар, Казань. Почему выбрали эти города? Да всё просто, выбрали тех партнёров, которые были готовы поучаствовать в тесте.

Абонементы на кофе в приложении Додо Пицца
Абонементы на кофе в приложении Додо Пицца

Стартанули эксперимент 15 апреля на 4 недели. Покупка абонемента позволяла забрать 14 чашек кофе за 14 дней, т. е. по одной чашке кофе в день

Так как о критериях успеха эксперимента мы не думали отдельно, то аналитик собирал дашборд с данными, которые ему казались целесообразными.

Тут можете поставить чтение статьи на паузу на минутку и подумать. А на какие данные смотрели бы вы?

Долгожданная встреча с аналитиком, где смотрим на данные

Конечно, мы начали с выручки, ведь это и была наша цель. Выручка составила 51 000 рублей. Это продажи самих абонементов и чеки клиентов, которые забирали свой кофе.

Итак, 51 000 рублей. С 4 городов. За месяц. Это много? Мало? Мы собираем встречу на 9 человек с заинтересованными ребятами из бизнеса и командой разработки, чтобы понять, что делать.

Аналитик: Итак, за месяц у нас есть 51 000 рублей. Это 1700 в день. Мы запускали на 4 города, на 123 пиццерий. Получается выручка +14 рублей на пиццерию в день. Кажется, маловато…

Маркетолог: Это да, но у нас ведь не было активного промо. И люди сами замечали и покупали. С промо выручка будет явно больше.

Аналитик: Но смотрите, сами абонементы нам только себестоимость кофе окупают — люди забирают почти все чашки. И когда они приходят за кофе, редко кто-то докупает ещё что-то. То есть потенциально мы можем зарабатывать на дополнительных продажах, но сейчас этого не происходит.

Маркетолог: Ну да, это так себе результат. А что там с частотой? Раз все чашки забирают, значит, чаще стали к нам ходить?

Продакт: Да, частота у этих клиентов выросла до 14 (была 8) посещений в месяц. Интересно. Но всё равно, ведь мы на этом не зарабатываем.

Маркетолог: Но ведь частота — это одна из ключевых метрик ресторана. Здорово, что сумели её прокачать.

Продакт из другой команды, зашедший на огонек: А вы чего хотели то от эксперимента?

Все: Выручку!

Маркетолог: Но выручка это может быть долгосрочная история, у фичи может быть накопительный эффект.

Аналитик: Может, цены на абонементы поднимем? Мы продаем кофе слишком дёшево. Давайте прикинем, на сколько можно увеличить стоимость, чтобы не отдавать кофе почти даром

Маркетолог: Не хотелось бы, потому что тогда человеку единоразово придётся большую сумму отдать и не все в этой пойдут.

Маркетолог: А может, попробуем на всю страну запустить?

Разработка: Воу-воу, у нас там вообще-то лютый хардкод. Мы не можем в таком виде на всю страну раскатываться.

People&ProcessLead: Так, у нас встреча уже к концу подходит.

Продакт: Давайте ещё возвращаемость за абонементами оценим, покастдевим тех, кто покупал абонементы, и подумаем, что с этим делать, чуть позже снова соберём встречу.

Итак, мы оставляем абонементы ещё на месяц, собираем дополнительные данные и исследуем. Советуемся с разными людьми из других команд, все накидывают какие-то идеи, но никаких ответов нам это не даёт. Разработчики в это время плачут и спрашивают, когда мы примем решение выпиливать этот говнокод, и либо делать нормально, либо не делать, потому что наше «творчество» мешает другим командам. Аналитик продолжает копать.

Аналитик Додо Пиццы
Аналитик Додо Пиццы

Проходит месяц.

Аналитик собрал ещё данных, смотрим на них, и понимаем, что:

  • 40% людей купили абонемент повторно! Но большая часть из них так и забирает только кофе, ничего не покупая допом;
  • клиенты забирают около 9 чашек из 14, средняя стоимость чашки при этом составляет 46 рублей для американо и 64 для капучино. Получается, что у нас кофе по абонементам продаётся с дисконтом больше 50% от текущей цены;
  • у абонементов высокий дисконт, и мы начинаем опасаться, что с продаж просто кофе мы бы зарабатывали больше.

Что делать? Абонементы даже без дополнительного промо покупаются, и даже повторно. Но сильного прироста выручки нет, значит, разработка нормального решения окупится не скоро. Стоит идти в нормальную разработку и раскатывать на всю Россию или уже завернуть гипотезу, так как цель у команды сейчас — буст выручки?

На встрече звучало много разных аргументов как «за» увеличение аудитории эксперимента, так и «против». Предлагали также вообще остановить эксперимент и перейти к следующим гипотезам.

К концу встречи у нас так и не было единого решения, поэтому решили оставить эксперимент так как есть. Посмотрим, может, ещё накопаем данных.

Проходит ещё месяц.

На 16 июня стоит встреча в календаре, но предвкушения она не вызывает. Уже собираемся более узким составом.

Все устали спорить по этой гипотезе. К однозначному мнению тут прийти трудно и непонятно, стоит ли именно сейчас инвестировать в неё ресурсы разработки. Так как главная цель пока - все еще выручка. Поэтому, в очередной раз посмотрев на цифры, решаем завернуть эксперимент и вернуться к нему позже.

Занавес, расходимся

В итоге мы выпилили абонементы из кода, потому что оставить в таком виде их было нельзя, а разработка нормального решения стоила очень дорого, и окупались бы абонементы очень долго.

Эксперимент продлился почти 3 месяца (конечно, параллельно мы занимались другими задачами). И сначала мы выключили возможность покупать новые абонементы, но оставили возможность гостям потратить их текущие абонементы.

Встреч за это время было около 5-7, аналитик собрал огромный дашборд со всеми нашими запросами, но к однозначному решению, что это нужно делать прямо сейчас, мы так и не пришли в тот момент.

Что мы хотим донести этой ситуацией? Не будьте как мы

  • Мы не уделили время нормальному формулированию целей и ожиданий от эксперимента. Никогда так не делайте. Постфактум анализировать числа — настоящий простор для фантазии и потеря фокуса “а для чего мы всё таки это делаем”.
  • Мы боялись что-то менять в ходе эксперимента (цены, срок действия и так далее). Ждуном быть можно, но в проверке быстрой гипотезы — не надо.
  • Нас было много и не хватило решительности остановиться раньше. В итоге мы потратили много сил и времени на бесконечный сбор данных и обсуждения. Да и в конце концов, все эти встречи стоят денег. Гипотеза в итоге не окупилась ни материально, ни эмоционально. Будьте смелее. Выбирайте одного ответственного за принятие решения. Пытаться коллективно прийти к общему знаменателю — утопично и изматывающе.

И самое главное: для каждого эксперимента есть своё время и место. Если один тест оказался провальным, возможно для него ещё не пришло время. Возможно, абонементы ещё вернутся!

Клиент Додо в ожидании возвращения абонементов
Клиент Додо в ожидании возвращения абонементов
1515
10 комментариев

Молодцы! Немножко из своего небольшого опыта мысль изреку. Я пользуюсь карточками теста и аналитики экспериментов. Это позволяет держать гипотезы и эксперименты в полном порядке, планомерно с ними работать, отслеживать развитие гипотез, в общем выводит систему тестирования бизнес-идей на новый уровень) (на фото - карточка теста из книги А.Остервальдера "тестирование бизнес-идей")

6
Ответить

Привет! Да, это удобная штука) Мы теперь тоже все гипотезы оформляем по красоте и стараемся "на берегу" договариваться, что хотим получить в результате. Но тогда что-то пошло не так)

2
Ответить

Кофе к пицце всяко лучше пиццы к кофе.))

2
Ответить

но ведь от перестановки мест слагаемых сумма не меняется

1
Ответить

Комментарий недоступен

2
Ответить

Хорошая подача, читать интересно. В конце не хватило успешного примера или более конкретного как надо формулировать цели от гипотезы.
Спасибо @Вадим Щербак за карточку теста, для меня это самое полезное из прочитанного в статье)

1
Ответить

Сергей, спасибо большое) я пробую создать сообщество, где царит культура тестирования гипотез, пока с переменным успехом, но, возможно, с Вами движения будет больше: https://t.me/+DAkTsLEz2AY4OWQ6 Приглашаю! Добро пожаловать!

1
Ответить