Epic fails: продакты Skyeng, Aviasales, Qlean поделились неудачными экспериментами в продукте

Авторы Telegram-канала по продуктовому маркетингу Epic Growth узнали у продактов Qlean, Skyeng и Aviasales, какие неудачные эксперименты случались у них в продукте.

Для клиентов Qlean.ru невероятно важно, какой именно клинер к ним приезжает. Клиенты хотят постоянства и качества: один, два или максимум три клинера, которые быстро научатся классно делать именно те вещи, которые важны, будут приходить регулярно и красивенько наводить порядок.

Это то, что сильно отличает нас от сервисов такси или доставки еды, где клиенту не важно, кто его повезет или принесёт доставку, он готов к вариативности. Но никто не хочет, чтобы до его постельного белья дотрагивались 100 человек в год.

Мы подумали: «Ага, всё понятно, сейчас всё будет» и влепили в клиентские интерфейсы опцию «избранного клинера». Работало это следующим образом: клиент выбирает из своего списка того клинера, которого он хочет видеть в следующем заказе, после мы назначаем клинеру заказ клиента. Счастливые мы выкатили фичу.

Оказалось, что:

Всё превратилось в хаос, фича работала только на 5% заказов. Мы поняли, что таким простым путем идти не получится — придётся долго и методично переделывать практически всю нашу платформу и правила взаимодействия с клиентами и клинерами.

Нам нужно было пересмотреть систему распределения заказов, систему планирования рабочего расписания для клинеров и систему букинга заказов для клиентов. Пока что мы находимся в середине пути, нам удалось добиться того, что на примерно 45% от всех заказов приезжают избранные клинеры.

Это точно не предел, мы сейчас по-прежнему работаем над тем, чтобы добиться хотя бы 80%. Это, наверное, одна из самых сложных задач, которую нам приходилось когда-либо решать.

Мы проводим большое количество продуктовых экспериментов и у любого теста есть несколько моментов, где можно провалиться. На нашей практике самые частые: техника и неправильная оценка.

Например, последние полгода мы занимались прокачкой нашей главной страницы, провели несколько больших и долгих A/B-тестов и… в мае поняли, что наша внутренняя система A/B-тестов работает неправильно после зимнего обновления. Пришлось в срочном порядке её чинить, и сейчас мы заново перезапускаем все тесты.

Благо, они уже разработаны — хоть где-то мы экономим. Вы скажете: «Нужно было тестировать». Мы это делали, но из-за специфики и разной логики тестов, не увидели в чём ошибка.

Внешне все распределения были корректными. Увидеть неполадку удалось только на необычном кейсе, с которого и началось наше расследование. Из-за технической ошибки мы потеряли время и приняли ряд продуктовых решений, в которых сейчас не уверены.

Менеджерский промах — это не всегда неправильно принятое решение. Часто это непринятое решение. Недооценённое. В рамках нашего направления монетизации, которым руководит Ксюша Петрова, мы работали с SLA ответа клиенту разными линиями продаж.

Ксюша оценила потенциал от изменений регламента первой линии продаж меньше, чем в +10% годовой выручки, потому решила не уделять внимание этому направлению. Слишком маленькая гипотеза для группы монетизации. Целых три месяца она внедряла новые SLA у методистов вводных уроков и второй линии продаж.

В это время руководитель первой линии решил, что он не хуже других, нужно держать своих ребят в тонусе и сам за полторы недели внедрил у себя новый регламент. Это принесло нам дополнительно 5 млн выручки в месяц (в три раза больше предсказанного) при минимальных затратах.

Факапы случаются у всех. Важно, выращивать во всех сотрудниках аналитические навыки и выращивать в компании культуру зарабатывания денег. Тогда технические проблемы могут быть обнаружены раньше, а деньги будут зарабатываться даже, если вы это не запланировали. По крайней мере, так у нас происходит в Skyeng.

К сожалению, люди привыкают к новым паттернам и интерфейсам далеко не сразу. Пару лет назад мы реализовали решение по инверсии порядка поисковой выдачи городов в автокомплите. И опередили время. Люди привыкли, что самый релевантный вариант располагается в верхней части списка, а не ближе к строке ввода.

То, что Instagram сделал через пару месяцев для упоминания друзей в комментариях, в случае приложения Aviasales показало, что массовые пользователи к этому не готовы (конечно же благодаря UX-тестированию, в котором четыре из пяти участников ощутили небольшие сложности при выборе города). Кстати, через какое-то время и Instagram отказался от этой идеи.

Больше заметок про продуктовые решения в Telegram-канале Epic Growth.

#дизайн