Как провести AB-тест на автоматизацию продаж и не уронить конверсию

В прошлом году мы узнали, что часть занятий в китайских онлайн-школах ведут цифровые двойники преподавателей. В этом уже моя команда решила заменить бесплатный вводный урок по английскому на автоматическую версию. Мы придумали безопасный способ это сделать и нашли дополнительную прибыль.

Наш отдел отвечает за бесплатные вводные уроки от Skyeng: в назначенное время через нашу видеоплатформу с потенциальным учеником созванивается специально обученный преподаватель, который оценивает уровень языка и предлагает программу и соответствующий пакет занятий. Мы с командой отвечаем за оптимизацию метрики Customer Sales Costs (CSC) — это затраты на продажу пакета услуг одному клиенту.

Время от времени происходят всплески количества заявок на вводные уроки, которые нельзя спрогнозировать и удовлетворить в полном объёме.

Известно, что не каждая заявка конвертируется в оплату. В 2019-м у школы появился скоринг — алгоритм, который на основе поведения пользователя на сайте и исторических данных по пользователям с похожим поведением прогнозирует вероятность совершения покупки. Если прогноз «зеленый» — скоринг отправляет на вводный урок, если «красный» — не отправляет.

Но мы же обещаем всем бесплатный урок, и пользователям с «красной» меткой скоринга тоже. Для них придумали недорогой способ сдержать обещание — автоматический вводный урок: без преподавателя, без звонков менеджеров, без допродажи после урока.

Продукт для холодного трафика выглядел как набор из нескольких слайдов:

Отслеживая, что происходит с пользователями, которые проходили автоматический вводный урок, мы увидели оплаты. В команде появился локальный мем: «Автоурок настолько хорош, что продает даже тем, кто никогда не должен был купить».

С тех пор не отпускала мысль: «А что если так можно было и с горячими пользователями?»

Очень хотелось протестировать автоурок в полноценном АВ-тесте на теплом трафике.

Но каждый эксперимент — это риск упущенной выгоды за время его проведения. В нашем случае — радикальный. Какую конверсию можно ожидать в худшем случае, заменив проверенный путь с участием менеджеров и отрабатывающих возражения преподавателей на несколько слайдов и видео с блогером? Нулевую. Кроме того, вводный урок встречает пользователя в самый ответственный момент, когда он формирует первое впечатление о школе и продукте.

Мы посчитали этот риск в деньгах и нам не понравилось. Поэтому придумали заложить в дизайн подстраховку — отправлять тестовую группу на автоматический урок, но если оплаты не произошло, подхватывать пользователя — звонить и предлагать пройти обычный урок с преподавателем.

Таким образом сохранялась возможность замерить конверсию в первую оплату на автоматическом уроке на малых окнах (до подхвата) и сравнить её с контролем на идентичном малом окне. И в то же время исчезал основной риск нулевой конверсии из-за радикальной замены преподавателя на несколько слайдов с видео. Такой дизайн эксперимента казался приемлемым.

В этом решении тоже были риски, но уже не такие существенные. Мы удлиняли и усложняли пользовательский путь до оплаты, добавляя в него автоурок перед обычным. Экспертно казалось, что это может занизить конверсию по сравнению с контрольной группой. Но основной риск мы убрали, и запустили тест.

Эксперимент был рассчитан на 3 недели набора новых пользователей и плюс 14 дней для закрытия конверсионных окон для подведения окончательных итогов.

Мы мониторим запущенные эксперименты по дашбордам, следим, не просела ли ключевая метрика — конверсия в первую оплату. Первая мысль, когда написал продакт: «Всё упало, тест придётся останавливать».

Но беспокойство вызвало не падение, а наоборот, стабильный рост ключевой метрики в тестовой группе по сравнению с контрольной. Мы не предполагали возможность роста конверсии из заявки в оплату, и это действительно выглядело странно.

Что делает аналитик в таких случаях? Перепроверяет дашборд, датасорс, на котором он построен, честность сплитования и всё-всё, что можно проверить. Проверили. Всё корректно. Так как это были предварительные результаты и только середина теста — мы не стали сильно радоваться, списали на случайность и стали мониторить дальше.

Эксперимент завершился. Окончательные итоги — тестовая группа выигрывает у контрольной по ключевой метрике отдела конверсия заявка в оплату на 2,13 процентных пункта.

Что такое 2 процента в рамках крупнейшей онлайн-школы Европы? Мы прикинули на цифрах 2019-го года — зная скорость роста школы, profit per user, доверительные интервалы — получились десятки миллионов дополнительной прибыли в год.

Но за счет какого подэтапа воронки выросла ключевая метрика? Конверсия заявка-оплата состоит из двух этапов: заявка-урок и урок-оплата. Рост сквозной конверсии за счет этапа заявка-урок означает, что мы увеличили затраты на преподавателей. В таком случае для принятия решения о раскатке эксперимента мы должны сравнить не только конверсии в группах, но и CSC. Но в нашем случае рост сквозной конверсии происходил за счет этапа урок-оплата. Это говорило о том, что мы выводили такое же количество учеников на урок, сохраняли те же расходы на преподавателей, но попав на обычный урок после автоурока, пользователи покупали чаще.

А вот конверсиях на малых окнах (покупка на автоматическом уроке) показала себя не так хорошо.

Автоматический вводный урок оказался не настолько хорош, чтобы полностью снять потребность в преподавателях на этапе продажи. Но оказался прекрасным инструментом для прогрева пользователей перед покупкой. Мы встроили его в онбординг и проверили уже в рамках другого эксперимента — самостоятельного бронирования времени вводного урока без звонка от оператора. Эксперимент оказался успешным и был раскатан на весь трафик.

Я очень рада, что мы решились протестировать гипотезу, которая казалась рисковой.

Если в бэклоге вашей команды есть что-то, что кажется «не очень», но есть ощущение, «а вдруг оно сработает», проверьте. Возможно, это та самая вещь, которая будет приносить пользу, деньги и сломает парочку ваших стереотипов. Рискните!

p.s. Пост основан на докладе Евгении Киселевой.