{"id":14274,"url":"\/distributions\/14274\/click?bit=1&hash=fadd1ae2f2e07e0dfe00a9cff0f1f56eecf48fb8ab0df0b0bfa4004b70b3f9e6","title":"\u0427\u0435\u043c \u043c\u0443\u0440\u0430\u0432\u044c\u0438\u043d\u044b\u0435 \u0434\u043e\u0440\u043e\u0436\u043a\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u0430\u043c?","buttonText":"\u0423\u0437\u043d\u0430\u0442\u044c","imageUuid":"6fbf3884-3bcf-55d2-978b-295966d75ee2"}

Мы нарушили правило запуска гипотезы и вот что из этого вышло

Через 5 минут вы узнаете, что простые правила придуманы не просто так. И что бывает, когда вы решили им не следовать.

Пару слов о нашей команде

Додо Пицца в первую очередь ассоциируется с доставкой, которая составляет львиную долю нашей выручки. Но рестораны у нас тоже классные! Хотелось, чтобы больше людей приходило к нам в гости, и в 2020 году мы взяли фокус на развитие ресторанов. Так появилась наша команда — команда клиентского опыта в ресторане. В 2021 году мы запустили заказ в зал из приложения, дали гостям возможность заказывать из приложения прямо до столика, сделали поиск по продуктам и добавили в приложение подсказку о ближайшем к клиенту ресторане. И выручка ресторанов стала расти!

Ресторан Додо Пиццы

Предыстория

У нас, как и у всех, с начала 22 года были долгосрочные планы и масштабные проекты, но пришло 24 февраля, с ним смена фокусов, планов и небольшая суета.

Основной целью стала выручка. Нам нужно было, как минимум, не давать ей упасть, а ещё лучше — увеличивать. Поэтому мы подвинули свои проекты, которые принесут пользу «когда-нибудь потом», и решили по-быстрому тестить гипотезы и запускать фичи, которые принесут деньги здесь и сейчас. Тут и засветилась давно запыленная в бэклоге карточка «Абонементы на кофе».

Абонементы на кофе? Неплохо! Давайте делать!

Времени углубляться в исследования и брейнштормы у нас не было, поэтому произошло примерно так: «А давайте сделаем абонементы на кофе, давно хотели». Это была вполне понятная и интересная идея: запускаем абонементы на кофе в приложении, клиенты, которые их купят, будут чаще приходить в пиццерии, покупать дополнительно к кофе маффин, кусочек пиццы или додстер и таким образом генерировать нам выручку. Кто-то не будет забирать все 14 чашек, так что кофе будет не с таким сильным дисконтом.

Так мы представляли себе клиентов, купивших абонемент

Других таких же простых идей не было, как и эмоциональных сил выдумывать что-то ещё, поэтому мы ухватилсь за неё изо всех сил.

Сразу ударились в прожарку: как быстро разработать? А как будет выглядеть в приложении? Насчёт критериев успеха не собирали никаких встреч и не думали отдельно. Всё казалось просто — запускаем гипотезу и дальше смотрим, как вырастет выручка!

И под этим «как» скрывалось слишком много.

Сделали быстрый MVP и зарелизили. Начинаем эксперимент

Когда мы горим, то делаем очень быстро (разработка заняла один двухнедельный спринт). И получилось то, что получилось: решение было не масштабируемым, с возможными косяками, которые мы, если что, готовы были закрыть через техподдержку. Поэтому запустили абонементы только в 4 городах: Москва, Нижний Новгород, Краснодар, Казань. Почему выбрали эти города? Да всё просто, выбрали тех партнёров, которые были готовы поучаствовать в тесте.

Абонементы на кофе в приложении Додо Пицца

Стартанули эксперимент 15 апреля на 4 недели. Покупка абонемента позволяла забрать 14 чашек кофе за 14 дней, т. е. по одной чашке кофе в день

Так как о критериях успеха эксперимента мы не думали отдельно, то аналитик собирал дашборд с данными, которые ему казались целесообразными.

Тут можете поставить чтение статьи на паузу на минутку и подумать. А на какие данные смотрели бы вы?

Долгожданная встреча с аналитиком, где смотрим на данные

Конечно, мы начали с выручки, ведь это и была наша цель. Выручка составила 51 000 рублей. Это продажи самих абонементов и чеки клиентов, которые забирали свой кофе.

Итак, 51 000 рублей. С 4 городов. За месяц. Это много? Мало? Мы собираем встречу на 9 человек с заинтересованными ребятами из бизнеса и командой разработки, чтобы понять, что делать.

Аналитик: Итак, за месяц у нас есть 51 000 рублей. Это 1700 в день. Мы запускали на 4 города, на 123 пиццерий. Получается выручка +14 рублей на пиццерию в день. Кажется, маловато…

Маркетолог: Это да, но у нас ведь не было активного промо. И люди сами замечали и покупали. С промо выручка будет явно больше.

Аналитик: Но смотрите, сами абонементы нам только себестоимость кофе окупают — люди забирают почти все чашки. И когда они приходят за кофе, редко кто-то докупает ещё что-то. То есть потенциально мы можем зарабатывать на дополнительных продажах, но сейчас этого не происходит.

Маркетолог: Ну да, это так себе результат. А что там с частотой? Раз все чашки забирают, значит, чаще стали к нам ходить?

Продакт: Да, частота у этих клиентов выросла до 14 (была 8) посещений в месяц. Интересно. Но всё равно, ведь мы на этом не зарабатываем.

Маркетолог: Но ведь частота — это одна из ключевых метрик ресторана. Здорово, что сумели её прокачать.

Продакт из другой команды, зашедший на огонек: А вы чего хотели то от эксперимента?

Все: Выручку!

Маркетолог: Но выручка это может быть долгосрочная история, у фичи может быть накопительный эффект.

Аналитик: Может, цены на абонементы поднимем? Мы продаем кофе слишком дёшево. Давайте прикинем, на сколько можно увеличить стоимость, чтобы не отдавать кофе почти даром

Маркетолог: Не хотелось бы, потому что тогда человеку единоразово придётся большую сумму отдать и не все в этой пойдут.

Маркетолог: А может, попробуем на всю страну запустить?

Разработка: Воу-воу, у нас там вообще-то лютый хардкод. Мы не можем в таком виде на всю страну раскатываться.

People&ProcessLead: Так, у нас встреча уже к концу подходит.

Продакт: Давайте ещё возвращаемость за абонементами оценим, покастдевим тех, кто покупал абонементы, и подумаем, что с этим делать, чуть позже снова соберём встречу.

Итак, мы оставляем абонементы ещё на месяц, собираем дополнительные данные и исследуем. Советуемся с разными людьми из других команд, все накидывают какие-то идеи, но никаких ответов нам это не даёт. Разработчики в это время плачут и спрашивают, когда мы примем решение выпиливать этот говнокод, и либо делать нормально, либо не делать, потому что наше «творчество» мешает другим командам. Аналитик продолжает копать.

Аналитик Додо Пиццы

Проходит месяц.

Аналитик собрал ещё данных, смотрим на них, и понимаем, что:

  • 40% людей купили абонемент повторно! Но большая часть из них так и забирает только кофе, ничего не покупая допом;
  • клиенты забирают около 9 чашек из 14, средняя стоимость чашки при этом составляет 46 рублей для американо и 64 для капучино. Получается, что у нас кофе по абонементам продаётся с дисконтом больше 50% от текущей цены;
  • у абонементов высокий дисконт, и мы начинаем опасаться, что с продаж просто кофе мы бы зарабатывали больше.

Что делать? Абонементы даже без дополнительного промо покупаются, и даже повторно. Но сильного прироста выручки нет, значит, разработка нормального решения окупится не скоро. Стоит идти в нормальную разработку и раскатывать на всю Россию или уже завернуть гипотезу, так как цель у команды сейчас — буст выручки?

На встрече звучало много разных аргументов как «за» увеличение аудитории эксперимента, так и «против». Предлагали также вообще остановить эксперимент и перейти к следующим гипотезам.

К концу встречи у нас так и не было единого решения, поэтому решили оставить эксперимент так как есть. Посмотрим, может, ещё накопаем данных.

Проходит ещё месяц.

На 16 июня стоит встреча в календаре, но предвкушения она не вызывает. Уже собираемся более узким составом.

Все устали спорить по этой гипотезе. К однозначному мнению тут прийти трудно и непонятно, стоит ли именно сейчас инвестировать в неё ресурсы разработки. Так как главная цель пока - все еще выручка. Поэтому, в очередной раз посмотрев на цифры, решаем завернуть эксперимент и вернуться к нему позже.

Занавес, расходимся

В итоге мы выпилили абонементы из кода, потому что оставить в таком виде их было нельзя, а разработка нормального решения стоила очень дорого, и окупались бы абонементы очень долго.

Эксперимент продлился почти 3 месяца (конечно, параллельно мы занимались другими задачами). И сначала мы выключили возможность покупать новые абонементы, но оставили возможность гостям потратить их текущие абонементы.

Встреч за это время было около 5-7, аналитик собрал огромный дашборд со всеми нашими запросами, но к однозначному решению, что это нужно делать прямо сейчас, мы так и не пришли в тот момент.

Что мы хотим донести этой ситуацией? Не будьте как мы

  • Мы не уделили время нормальному формулированию целей и ожиданий от эксперимента. Никогда так не делайте. Постфактум анализировать числа — настоящий простор для фантазии и потеря фокуса “а для чего мы всё таки это делаем”.
  • Мы боялись что-то менять в ходе эксперимента (цены, срок действия и так далее). Ждуном быть можно, но в проверке быстрой гипотезы — не надо.
  • Нас было много и не хватило решительности остановиться раньше. В итоге мы потратили много сил и времени на бесконечный сбор данных и обсуждения. Да и в конце концов, все эти встречи стоят денег. Гипотеза в итоге не окупилась ни материально, ни эмоционально. Будьте смелее. Выбирайте одного ответственного за принятие решения. Пытаться коллективно прийти к общему знаменателю — утопично и изматывающе.

И самое главное: для каждого эксперимента есть своё время и место. Если один тест оказался провальным, возможно для него ещё не пришло время. Возможно, абонементы ещё вернутся!

Клиент Додо в ожидании возвращения абонементов
0
10 комментариев
Написать комментарий...
Вадим Щербак

Молодцы! Немножко из своего небольшого опыта мысль изреку. Я пользуюсь карточками теста и аналитики экспериментов. Это позволяет держать гипотезы и эксперименты в полном порядке, планомерно с ними работать, отслеживать развитие гипотез, в общем выводит систему тестирования бизнес-идей на новый уровень) (на фото - карточка теста из книги А.Остервальдера "тестирование бизнес-идей")

Ответить
Развернуть ветку
Olga Malysheva
Автор

Привет! Да, это удобная штука) Мы теперь тоже все гипотезы оформляем по красоте и стараемся "на берегу" договариваться, что хотим получить в результате. Но тогда что-то пошло не так)

Ответить
Развернуть ветку
Сергей Овчинников

Кофе к пицце всяко лучше пиццы к кофе.))

Ответить
Развернуть ветку
Василий Кокорин

но ведь от перестановки мест слагаемых сумма не меняется

Ответить
Развернуть ветку
Сергей Овчинников

Ещё как меняется.) Сначала выручка и к ней бонус или сначала бонус в надежде на выручку. Автор поняла.

Ответить
Развернуть ветку
Александр А.

Хорошо написано, даже от стилистики статьи получил удовольствие. Цельность эдакая.

Ответить
Развернуть ветку
Сергей Галямов

Хорошая подача, читать интересно. В конце не хватило успешного примера или более конкретного как надо формулировать цели от гипотезы.
Спасибо @Вадим Щербак за карточку теста, для меня это самое полезное из прочитанного в статье)

Ответить
Развернуть ветку
Вадим Щербак

Сергей, спасибо большое) я пробую создать сообщество, где царит культура тестирования гипотез, пока с переменным успехом, но, возможно, с Вами движения будет больше: https://t.me/+DAkTsLEz2AY4OWQ6 Приглашаю! Добро пожаловать!

Ответить
Развернуть ветку
hfbretbl

Лол, только сегодня вспомнила про ваши абонементы на кофе и их уже нет( К слову, постоянный клиент Додо-пиццы. Возможно, кофе - то, что мне нужно, чтобы начать вновь ходить в Додо на постоянке после нескольких месяцев не хождения. Типо настолько постоянный, что могу 10к продуктов в месяц оплатить в Додо

Ответить
Развернуть ветку
hfbretbl

Только сейчас подумала. А зачем вы абонементы на кофе летом-то запускали? Он же горячий. Запустите как сейчас осенью-зимой, люди с мороза за кофе будут приходить, и, возможно, за едой. Может цену на абонимент повысить, но добавить скидку на еду при наличии абонемента? Летом актуальнее абонемент на холодные наитки был. В Москве жарило под +35, конечно никто не хотел горячий кофе и блюда. Сейчас +20 и на осеннее снижение идет, хочется как раз кофе и Додошного уюта

Ответить
Развернуть ветку
7 комментариев
Раскрывать всегда