Эксперимент Яндекс.Драйва — ошибка продакт менеджеров или высший пилотаж?
Вчера я собирался съездить по делам и, как часто это делаю, решил воспользоваться каршерингом от Яндекс.Драйва. При открытии приложения я обнаружил, что в тарифе «Минуты» у меня, помимо платы за минуту, появилась фиксированная плата за бронирование авто в размере 116 руб. Выглядело это так:
Учитывая, что моя поездка по навигатору должна была занять 16 минут, тариф за минуту составил бы 15,23 руб., чего в Яндекс.Драйве за авто класса «На каждый день» я никогда не встречал. Данная вещь меня настолько возмутила, что я решил узнать, что же это такое. Пару запросов в Google, и я нашел новость о том, что это, оказывается, новый эксперимент Яндекс.Драйва на ограниченную группу пользователей, в которую мне, по всей видимости, «посчастливилось» попасть.
В чем заключается эксперимент
И вот тут у меня уже сыграло профессиональное чувство, что же это за такой эксперимент. В справке Драйва я нашел такое объяснение стоимости бронирования:
Как оказалось, это наглая ложь, как минимум по трем причинам:
- Стоимость бронирования (от 28 до 148 руб.) у меня добавляется даже в тех случаях, когда вокруг есть десяток свободных авто и явно нет никакого высокого спроса.
- У друга, который не попал в тестирование, нет никакого высокого спроса на те же самые автомобили, хотя и стоимость минуты у него и правда дороже, но не более, чем на 1 руб.
- Тариф фикс в пересчете на минуту у меня также стоил почти 18 руб. В поддержке мне позже подтвердили, что в него также включена стоимость бронирования, так что их слова о том, что это добавляется потому, что они не знают, куда я поеду, и только в тарифе «Минуты», тоже ложь.
Таким образом, получается, что вся суть нового тарифа в том, чтобы брать с пользователей, попавших в эксперимент, фиксированную стоимость бронирования, которая может отбиться только в том случае, если вы бронируете машину от 25-30 минут до 2х часов.
Хороший ли это эксперимент?
После того, как чувство гнева на Яндекс меня отпустило — меня охватило профессиональное любопытство. Что это: хороший эксперимент, которого я никак не понимаю, или ошибка/недоработка продакт менеджеров Яндекс.Драйва?
В этом эксперименте меня смущают, как минимум, 4 пункта:
- Если это тестирование новых тарифов, которые, по словам Яндекса, будут выгодны при длительных поездках, то где нормальная коммуникация с пользователями, попавшими в это тестирование? В интерфейсах Драйва нигде не указано о преимуществах нового тарифа, мне никто не сообщил об этих изменениях, а в справке про новый тариф просто указана ложная информация.
- При планировании эксперимента учитывали ли в Яндекс.Драйве репутационные риски? Яндекс крупная компания, и к ним всегда больше внимания. Представьте, что какой-то супер популярный блогер попадает в эту выборку и понимает, что это не просто новые тарифы, а это Яндекс решил конкретно с него взять больше денег. Возмущенный таким поведением он выпускает пост, который быстро вирусится и вызывает большую волну негатива к сервису.
- Оценивался ли ущерб от потери лояльности попавших в эксперимент клиентов? Представьте, что вы заходите в магазин и берете там банку колы за 100 руб., а вашему другу, который стоит за вами, продают её же уже за 50 руб. Вы задаете логичный вопрос: почему мне эта банка обошлась в два раза дороже? На что вам отвечают — вы попали в эксперимент, мы хотели понять, купите ли вы ее дороже, или нет. Будете ли вы дальше ходить в такой магазин? Скорее всего нет, только если это единственный магазин на районе. Или по крайней мере, пока чувство обиды со временем у вас не исчезнет. Кстати, в App Store вы легко можете найти десятки свежих негативных отзывов пользователей, возмущенных таким поведением Яндекс.Драйва, которые обещают больше никогда им не пользоваться.
- И самое главное: в чем заключается сам дизайн эксперимента?
- Кажется, что новая структура тарифа (с платой за бронирование и меньшей стоимостью минуты), вряд ли сможет повлиять на длительность поездки. Часто, вы берете каршеринг, чтобы добраться из точки А в точку Б, и стоимость минут вряд ли изменит ваше поведение. Сложно представить ситуацию, когда вы решите съездить еще куда-нибудь просто потому, что стоимость минуты теперь стала на рубль дешевле, а за бронирование вы уже заплатили. Это вам не самокат в аренду взять, чтобы покататься по красивой набережной.
- Также данный эксперимент никак не может повлиять на ваше решение о выборе тарифа («Минуты» или «Фикс»), так как в последний тоже включена плата за бронирование.
Таким образом, скорее всего, Яндекс просто пытается решить задачу максимизации своей прибыли за счет увеличения тарифов, но подходит ли в данном случае АB тестирование на случайных пользователях?
- Я пользуюсь каршерингом нерегулярно. В какую-то неделю могу ездить часто, далеко и долго, а могу всю неделю вообще не пользоваться. Таким образом, разброс общей выручки за период тут, скорее, будет зависеть не от попадания в эксперимент, а от других случайных факторов. Основа AB тестирования в том, чтобы сравнивать пользователей с одинаковым опытом. Кажется, что в данном случае, это не может быть правдой.
- Возможно, конечно, что Яндекс тестирует не общую выручку на клиента, а процент отказов (когда вы запустили приложение, но не забронировали авто), но и тут мы имеем кучу других причин, которые также могут повлиять на результаты: стоимость такси в это время, наличие рядом авто других каршерингов, как срочно вам надо ехать, и насколько конкретно для вас в данный момент времени является чувствительным данное повышение цены. Не представляю, как можно учесть все эти факторы в эксперименте. Возможно, Яндекс знает.
Как решать задачу максимизации прибыли?
Все, что я пока знаю, говорит о том, что задачи максимизации прибыли для таких сложных продуктов все же надо решать используя другие механики, например, динамического ценообразования. А если вам хочется тестировать новые тарифы, то:
- либо товар и услуга должны быть какими-то простыми, а опыт пользователей одинаковым, чтобы цена стала определяющим фактором. В случае Яндекса я бы постарался делить пользователей для теста именно в момент заказа авто в какое-то конкретное время в каком-то конкретном месте. Тогда они смогли бы получить плюс минус одинаковую выборку: люди, которые хотят взять авто прямо здесь и сейчас, с одинаковыми ценами такси в районе и одинаковым расположением авто других каршерингов рядом. Тогда уже можно понять, будет ли процент отказов у пользователей, попавших в тест, выше, чем у тех, кто может взять авто по меньшей цене.
- либо в эксперименте надо давать пользователям какие-то варианты на выбор и смотреть, как изменится их поведение. Например, помимо нового тарифа "Минуты" дать вариант тарифа "Минуты" без стоимости бронирования, но с более высокой ценой за минуту, либо в том же тарифе "Фикс" не добавлять стоимость бронирования.
При этом, все же не стоит забывать о возможных рисках, вызванные такими экспериментами с разной ценой для разных пользователей.
Пишите в комментариях, как вы считаете, это хороший эксперимент? И если да, то в чем тогда его суть (какую гипотезу тестируют, как выбирают пользователей, какие метрики замеряют)? Или же это ошибки менеджеров Яндекс.Драйва и пример того, как делать не стоит?
И бонус для тех, кто дочитал до конца! Если вам, как и мне, «посчастливилось» попасть в эксперимент Яндекс.Драйва, то есть один лайфхак, который позволит вам забронировать машину по цене «как у всех». По всей видимости, эксперимент запущен только в приложении Яндекс.Драйва, поэтому можете открыть приложение Яндекс.Go, указать точку, в которую вы хотите уехать и, если рядом с вами есть авто Яндекс.Драйва, то оно появится внизу как альтернатива такси и по старой цене без «стоимости бронирования». Просто бронируйте её там, и можете спокойно ехать по тарифу «Фикс» без наценки. Проверено, выходит дешевле.
Суть эксперимента в том, что если пользователи проглотят, то ставки поднимут всем. Это ж Яндекс. Он будет доить всех, пока у людей деньги не закончатся..
Возможно, кстати, что это самое логичное объяснение. Но опять же, проглотят или нет я бы тестировал по-другому.
я в яндекс.драйве зарегистрировался в октябре, потому что понадобился яндекс.шаттл. А потом еще раз прокатился на Кашкае буквально пару километров.
То есть у меня было всего 2 поездки, одна с фиксом на 6 часов, вторая - на 10 минут. И зашел в приложение в воскресенье 29 ноября примерно в двенадцатом часу ночи. И у меня так же надо было за бронь заплатить 98 руб, и типа спрос высокий. Какой он высокий? Людям на работу завтра, вставать рано. А у меня спрос высокий. При этом машин рядом просто куча. В итоге отказался и заказал делимобиль. Поэтому я тоже гневный.
Ой, да когда яндекс драйв стали монополистами, они понемногу начали наглеть) Помню время, когда от работы до дома ездил за 150р в Москве, потом ввели зоны с минимальной поездкой, а я жил прям за мкадом, а работа сразу при везде и стоимость в одну сторону 150р, обратно 400р! В то время доезжал на anytime в аэропорт Внуково за 80р и было это не так давно)) Межгород стал 20-30к, а был 6-14к, если пересчитать по минутам, то выйдет дешевле в 2-2,5 раза. Раньше из Казани в Иннополис каршеринг стоил 400р+, сейчас от 800р+. Вот вам и яндекс, позор за такие цены, они всех приучили к каршерингу и взвинтили цены до небес, боюсь что будет дальше. ПС: я вообще отказался от машины и перешел на каршеринг полностью и сейчас потихоньку начинаю жалеть.
Если деньги не растратил, купить обратно машину никогда не поздно.
Но я посчитал, если покупать машину за 1 млн (брал БМВ 3 серии 2012 год), с учетом потери стоимости годовой, страховки, шиномонтаж, регламентное обслуживание ТО, бензина на 10 000 км пробега в год, получается ежедневное содержание выходит в 480 руб. И это я поломки не считал. Так что если на каршеринг уходит меньше 480 руб в день - то машина не нужна.
если у вас нет в этой компании персонального менеджера, то ваш гнев маркетологам не интересней, чем учёному гнев бактерии, попавшей в чашку Петри. ему вполне достаточно агрегированных данных - сколько из них выжило и сколько погибло
Бизнес по сдаче машин в аренду. Мой опыт