Мы нарушили правило запуска гипотезы и вот что из этого вышло

Через 5 минут вы узнаете, что простые правила придуманы не просто так. И что бывает, когда вы решили им не следовать.

Додо Пицца в первую очередь ассоциируется с доставкой, которая составляет львиную долю нашей выручки. Но рестораны у нас тоже классные! Хотелось, чтобы больше людей приходило к нам в гости, и в 2020 году мы взяли фокус на развитие ресторанов. Так появилась наша команда — команда клиентского опыта в ресторане. В 2021 году мы запустили заказ в зал из приложения, дали гостям возможность заказывать из приложения прямо до столика, сделали поиск по продуктам и добавили в приложение подсказку о ближайшем к клиенту ресторане. И выручка ресторанов стала расти!

У нас, как и у всех, с начала 22 года были долгосрочные планы и масштабные проекты, но пришло 24 февраля, с ним смена фокусов, планов и небольшая суета.

Пост Федора в ТГ

Основной целью стала выручка. Нам нужно было, как минимум, не давать ей упасть, а ещё лучше — увеличивать. Поэтому мы подвинули свои проекты, которые принесут пользу «когда-нибудь потом», и решили по-быстрому тестить гипотезы и запускать фичи, которые принесут деньги здесь и сейчас. Тут и засветилась давно запыленная в бэклоге карточка «Абонементы на кофе».

Времени углубляться в исследования и брейнштормы у нас не было, поэтому произошло примерно так: «А давайте сделаем абонементы на кофе, давно хотели». Это была вполне понятная и интересная идея: запускаем абонементы на кофе в приложении, клиенты, которые их купят, будут чаще приходить в пиццерии, покупать дополнительно к кофе маффин, кусочек пиццы или додстер и таким образом генерировать нам выручку. Кто-то не будет забирать все 14 чашек, так что кофе будет не с таким сильным дисконтом.

Других таких же простых идей не было, как и эмоциональных сил выдумывать что-то ещё, поэтому мы ухватилсь за неё изо всех сил.

Сразу ударились в прожарку: как быстро разработать? А как будет выглядеть в приложении? Насчёт критериев успеха не собирали никаких встреч и не думали отдельно. Всё казалось просто — запускаем гипотезу и дальше смотрим, как вырастет выручка!

И под этим «как» скрывалось слишком много.

Когда мы горим, то делаем очень быстро (разработка заняла один двухнедельный спринт). И получилось то, что получилось: решение было не масштабируемым, с возможными косяками, которые мы, если что, готовы были закрыть через техподдержку. Поэтому запустили абонементы только в 4 городах: Москва, Нижний Новгород, Краснодар, Казань. Почему выбрали эти города? Да всё просто, выбрали тех партнёров, которые были готовы поучаствовать в тесте.

Стартанули эксперимент 15 апреля на 4 недели. Покупка абонемента позволяла забрать 14 чашек кофе за 14 дней, т. е. по одной чашке кофе в день

Так как о критериях успеха эксперимента мы не думали отдельно, то аналитик собирал дашборд с данными, которые ему казались целесообразными.

Тут можете поставить чтение статьи на паузу на минутку и подумать. А на какие данные смотрели бы вы?

Конечно, мы начали с выручки, ведь это и была наша цель. Выручка составила 51 000 рублей. Это продажи самих абонементов и чеки клиентов, которые забирали свой кофе.

Итак, 51 000 рублей. С 4 городов. За месяц. Это много? Мало? Мы собираем встречу на 9 человек с заинтересованными ребятами из бизнеса и командой разработки, чтобы понять, что делать.

Аналитик: Итак, за месяц у нас есть 51 000 рублей. Это 1700 в день. Мы запускали на 4 города, на 123 пиццерий. Получается выручка +14 рублей на пиццерию в день. Кажется, маловато…

Маркетолог: Это да, но у нас ведь не было активного промо. И люди сами замечали и покупали. С промо выручка будет явно больше.

Аналитик: Но смотрите, сами абонементы нам только себестоимость кофе окупают — люди забирают почти все чашки. И когда они приходят за кофе, редко кто-то докупает ещё что-то. То есть потенциально мы можем зарабатывать на дополнительных продажах, но сейчас этого не происходит.

Маркетолог: Ну да, это так себе результат. А что там с частотой? Раз все чашки забирают, значит, чаще стали к нам ходить?

Продакт: Да, частота у этих клиентов выросла до 14 (была 8) посещений в месяц. Интересно. Но всё равно, ведь мы на этом не зарабатываем.

Маркетолог: Но ведь частота — это одна из ключевых метрик ресторана. Здорово, что сумели её прокачать.

Продакт из другой команды, зашедший на огонек: А вы чего хотели то от эксперимента?

Все: Выручку!

Маркетолог: Но выручка это может быть долгосрочная история, у фичи может быть накопительный эффект.

Аналитик: Может, цены на абонементы поднимем? Мы продаем кофе слишком дёшево. Давайте прикинем, на сколько можно увеличить стоимость, чтобы не отдавать кофе почти даром

Маркетолог: Не хотелось бы, потому что тогда человеку единоразово придётся большую сумму отдать и не все в этой пойдут.

Маркетолог: А может, попробуем на всю страну запустить?

Разработка: Воу-воу, у нас там вообще-то лютый хардкод. Мы не можем в таком виде на всю страну раскатываться.

People&ProcessLead: Так, у нас встреча уже к концу подходит.

Продакт: Давайте ещё возвращаемость за абонементами оценим, покастдевим тех, кто покупал абонементы, и подумаем, что с этим делать, чуть позже снова соберём встречу.

Итак, мы оставляем абонементы ещё на месяц, собираем дополнительные данные и исследуем. Советуемся с разными людьми из других команд, все накидывают какие-то идеи, но никаких ответов нам это не даёт. Разработчики в это время плачут и спрашивают, когда мы примем решение выпиливать этот говнокод, и либо делать нормально, либо не делать, потому что наше «творчество» мешает другим командам. Аналитик продолжает копать.

Проходит месяц.

Аналитик собрал ещё данных, смотрим на них, и понимаем, что:

• 40% людей купили абонемент повторно! Но большая часть из них так и забирает только кофе, ничего не покупая допом;

• клиенты забирают около 9 чашек из 14, средняя стоимость чашки при этом составляет 46 рублей для американо и 64 для капучино. Получается, что у нас кофе по абонементам продаётся с дисконтом больше 50% от текущей цены;
• у абонементов высокий дисконт, и мы начинаем опасаться, что с продаж просто кофе мы бы зарабатывали больше.

Что делать? Абонементы даже без дополнительного промо покупаются, и даже повторно. Но сильного прироста выручки нет, значит, разработка нормального решения окупится не скоро. Стоит идти в нормальную разработку и раскатывать на всю Россию или уже завернуть гипотезу, так как цель у команды сейчас — буст выручки?

На встрече звучало много разных аргументов как «за» увеличение аудитории эксперимента, так и «против». Предлагали также вообще остановить эксперимент и перейти к следующим гипотезам.

К концу встречи у нас так и не было единого решения, поэтому решили оставить эксперимент так как есть. Посмотрим, может, ещё накопаем данных.

Проходит ещё месяц.

На 16 июня стоит встреча в календаре, но предвкушения она не вызывает. Уже собираемся более узким составом.

Все устали спорить по этой гипотезе. К однозначному мнению тут прийти трудно и непонятно, стоит ли именно сейчас инвестировать в неё ресурсы разработки. Так как главная цель пока - все еще выручка. Поэтому, в очередной раз посмотрев на цифры, решаем завернуть эксперимент и вернуться к нему позже.

В итоге мы выпилили абонементы из кода, потому что оставить в таком виде их было нельзя, а разработка нормального решения стоила очень дорого, и окупались бы абонементы очень долго.

Эксперимент продлился почти 3 месяца (конечно, параллельно мы занимались другими задачами). И сначала мы выключили возможность покупать новые абонементы, но оставили возможность гостям потратить их текущие абонементы.

Встреч за это время было около 5-7, аналитик собрал огромный дашборд со всеми нашими запросами, но к однозначному решению, что это нужно делать прямо сейчас, мы так и не пришли в тот момент.

Что мы хотим донести этой ситуацией? Не будьте как мы

• Мы не уделили время нормальному формулированию целей и ожиданий от эксперимента. Никогда так не делайте. Постфактум анализировать числа — настоящий простор для фантазии и потеря фокуса “а для чего мы всё таки это делаем”.
• Мы боялись что-то менять в ходе эксперимента (цены, срок действия и так далее). Ждуном быть можно, но в проверке быстрой гипотезы — не надо.
• Нас было много и не хватило решительности остановиться раньше. В итоге мы потратили много сил и времени на бесконечный сбор данных и обсуждения. Да и в конце концов, все эти встречи стоят денег. Гипотеза в итоге не окупилась ни материально, ни эмоционально. Будьте смелее. Выбирайте одного ответственного за принятие решения. Пытаться коллективно прийти к общему знаменателю — утопично и изматывающе.
  

И самое главное: для каждого эксперимента есть своё время и место. Если один тест оказался провальным, возможно для него ещё не пришло время. Возможно, абонементы ещё вернутся!