Epic fails: продакты Skyeng, Aviasales, Qlean поделились неудачными экспериментами в продукте

Авторы Telegram-канала по продуктовому маркетингу Epic Growth узнали у продактов Qlean, Skyeng и Aviasales, какие неудачные эксперименты случались у них в продукте.

Руководитель продукта в Qlean Валерия Коваленко

Для клиентов Qlean.ru невероятно важно, какой именно клинер к ним приезжает. Клиенты хотят постоянства и качества: один, два или максимум три клинера, которые быстро научатся классно делать именно те вещи, которые важны, будут приходить регулярно и красивенько наводить порядок.

Это то, что сильно отличает нас от сервисов такси или доставки еды, где клиенту не важно, кто его повезет или принесёт доставку, он готов к вариативности. Но никто не хочет, чтобы до его постельного белья дотрагивались 100 человек в год.

Мы подумали: «Ага, всё понятно, сейчас всё будет» и влепили в клиентские интерфейсы опцию «избранного клинера». Работало это следующим образом: клиент выбирает из своего списка того клинера, которого он хочет видеть в следующем заказе, после мы назначаем клинеру заказ клиента. Счастливые мы выкатили фичу.

Оказалось, что:

  • у клиента постоянно меняется расписание (на один заказ бывает до десяти переносов);
  • у клинера постоянно меняется расписание (устал, надо забрать ребенка из садика и так далее);
  • клинеры бывают уже заняты на других заказах, болеют, уходят в отпуск — у клиента начинается паника;
  • клинеры не хотят идти к клиенту, потому тем им не понравилась уборка или потому что они нашли себе другой заказ на это же время.

Всё превратилось в хаос, фича работала только на 5% заказов. Мы поняли, что таким простым путем идти не получится — придётся долго и методично переделывать практически всю нашу платформу и правила взаимодействия с клиентами и клинерами.

Нам нужно было пересмотреть систему распределения заказов, систему планирования рабочего расписания для клинеров и систему букинга заказов для клиентов. Пока что мы находимся в середине пути, нам удалось добиться того, что на примерно 45% от всех заказов приезжают избранные клинеры.

Это точно не предел, мы сейчас по-прежнему работаем над тем, чтобы добиться хотя бы 80%. Это, наверное, одна из самых сложных задач, которую нам приходилось когда-либо решать.

Head of Product Marketing в Skyeng Денис Пушкин

Мы проводим большое количество продуктовых экспериментов и у любого теста есть несколько моментов, где можно провалиться. На нашей практике самые частые: техника и неправильная оценка.

Например, последние полгода мы занимались прокачкой нашей главной страницы, провели несколько больших и долгих A/B-тестов и… в мае поняли, что наша внутренняя система A/B-тестов работает неправильно после зимнего обновления. Пришлось в срочном порядке её чинить, и сейчас мы заново перезапускаем все тесты.

Благо, они уже разработаны — хоть где-то мы экономим. Вы скажете: «Нужно было тестировать». Мы это делали, но из-за специфики и разной логики тестов, не увидели в чём ошибка.

Внешне все распределения были корректными. Увидеть неполадку удалось только на необычном кейсе, с которого и началось наше расследование. Из-за технической ошибки мы потеряли время и приняли ряд продуктовых решений, в которых сейчас не уверены.

Менеджерский промах — это не всегда неправильно принятое решение. Часто это непринятое решение. Недооценённое. В рамках нашего направления монетизации, которым руководит Ксюша Петрова, мы работали с SLA ответа клиенту разными линиями продаж.

Ксюша оценила потенциал от изменений регламента первой линии продаж меньше, чем в +10% годовой выручки, потому решила не уделять внимание этому направлению. Слишком маленькая гипотеза для группы монетизации. Целых три месяца она внедряла новые SLA у методистов вводных уроков и второй линии продаж.

В это время руководитель первой линии решил, что он не хуже других, нужно держать своих ребят в тонусе и сам за полторы недели внедрил у себя новый регламент. Это принесло нам дополнительно 5 млн выручки в месяц (в три раза больше предсказанного) при минимальных затратах.

Факапы случаются у всех. Важно, выращивать во всех сотрудниках аналитические навыки и выращивать в компании культуру зарабатывания денег. Тогда технические проблемы могут быть обнаружены раньше, а деньги будут зарабатываться даже, если вы это не запланировали. По крайней мере, так у нас происходит в Skyeng.

Менеджер мобильных продуктов в Aviasales Андрей Маслак

К сожалению, люди привыкают к новым паттернам и интерфейсам далеко не сразу. Пару лет назад мы реализовали решение по инверсии порядка поисковой выдачи городов в автокомплите. И опередили время. Люди привыкли, что самый релевантный вариант располагается в верхней части списка, а не ближе к строке ввода.

То, что Instagram сделал через пару месяцев для упоминания друзей в комментариях, в случае приложения Aviasales показало, что массовые пользователи к этому не готовы (конечно же благодаря UX-тестированию, в котором четыре из пяти участников ощутили небольшие сложности при выборе города). Кстати, через какое-то время и Instagram отказался от этой идеи.

Больше заметок про продуктовые решения в Telegram-канале Epic Growth.

0
14 комментариев
Написать комментарий...
Sofrus

Денис молодец, и про факапы коллег рассказал, и сам не запачкался.

Ответить
Развернуть ветку
Mila Kreimer

публичная казнь Ксюши. Не этично.

Ответить
Развернуть ветку
Ксения Петрова

мы долго с Денисом выбирали про какой факап рассказать, чтобы было для других полезно (без специфичных кейсов бизнеса), и решили про этот.

Прямо иллюстрация типичной ошибки неправильной приоритизации. Надеюсь, для других будет полезно)

Ответить
Развернуть ветку
Ivan Filyaev

В общем, это не баг, а фича. Расходимся.

Ответить
Развернуть ветку
Galhina Kalhugaena

При этом того, у кого получилось-таки, по имени не назвал :)

Ответить
Развернуть ветку
Ксения Петрова

))) я сама рассказала этот кейс Денису =)

Ответить
Развернуть ветку
Stanislav Skrzhinsky

Главный факап Qlean в том, что клининговый персонал у них некомпетентный и "левачит"!

"Клинер ли я или уборщица дрожащая?"
В общем, снимаю студию. Заказываю уборку в Qlean (мотивация заказа простая - "приду домой - дома будет чисто"). Мне подобрали клинера из соседнего подъезда - тучную девушку, которая опоздала и первым делом попросила доступ к Wi-Fi (как сама призналась - сидела в вк). В заказе указана одна комната для уборки (ибо студия - кухня и спальня в одной комнате). Клинер начинает возмущаться, что это того не стоит и намекает на дополнительный кэш в обход компании - времени ссориться нет, говорю: "Не вопрос, уберете хорошо - накину 500Р", договорились. Прихожу через 4 часа, тучный клинер вздыхает от проделанной тяжелой работы, просит дотереть за нее, спрашивает за кэш. Оглядываю студию в первые 2 мин пребывания дома, вроде все ок - просит поставить оценку при ней, получает кэш и удаляется.

Через 15 мин после ее ухода всматриваемся в уборку и наиболее красочным и адекватным определением как "Пиздец" мы описать уборку не смогли - новые разводы на дверях (видимо полы и двери мыли одной тряпкой), грязные шкафы, пыль не протерта, ковер не пылесошен, в углах пыль и тд. Пишем в телегу Qlean, шлем фотки, разбираемся по второму разу, что моя студия все же одна комната, а не две, дарят баллы, говорят, что отправят клинера на проф.переподготовку и пришлют на переуборку "более профессионального клинера".

Следующий клинер убрала получше, но претензии те же - грязно, хочется отдать деньги и придти в чистую квартиру, а в итоге еще час-два убираешься сам. Еще и отругали нас за то, что сковородку "не драим как следует" с намеком "вот мой номерок, звоните, я буду дешевле у вас убираться".

Встречаем тучного клинера 1-2 раза в неделею возле дома на прогулке, ловим неадекватные взгляды. Спасибо, Qlean, что экономите наши деньги, теперь убираемся и "драим тщательно сковородки" сами.

P.S. Наткнулся год назад на статью у них в группе мотивирующую такую "Один папа не успевал убраться перед приездом семьи, а дело было в ночь. Мы нашли клинера, отправили и помогли папе убрать квартиру". Звоню в Qlean с вопросом "Мне нужна срочная уборка, атас, сам не успеваю" в ответ "Срочных уборок у нас нет". Упс.

Ответить
Развернуть ветку
Vitya Orlov

У вас явно Марс в Венере. За 2 года регулярного использования – ни разу ничего подобного не было

Ответить
Развернуть ветку
Stanislav Skrzhinsky

«Так он мне понравился...» (с)

Ответить
Развернуть ветку
Bringo_call_tracking

О Виктория, моя продакт квин))

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Bringo_call_tracking

Qlean развалился? Там все плохо?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Yuriy Chekashkin

Объясните, плиз, кто такой, на ваш взгляд, "процессник", а кто product manager?

Ответить
Развернуть ветку
Юрий Головчанский

Ну у Авиасейлса прям факап так факап, непонятно как компания ко дну не пошла

Ответить
Развернуть ветку
Леонид Летучий

Факапы, откровенно говоря, каждый так себе.
Автор такая решила бомбануть и собрать эпический материал, а компании вместо реальных кейсов её каким-то бесполезным пиар-говноп прокормили.
Денис вообще красава, Ксюшу слил
Денис, вот за это кто будет отвечать?
http://seo-revizor.ru/skyeng-let-mi-spik-krom-maj/

Ответить
Развернуть ветку
11 комментариев
Раскрывать всегда