{"id":8721,"title":"\u0427\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0437 \u0440\u044b\u0431\u044c\u0435\u0439 \u0447\u0435\u0448\u0443\u0438","url":"\/redirect?component=advertising&id=8721&url=https:\/\/vc.ru\/promo\/316632-odezhda-kotoraya-rastet-vmeste-s-rebenkom-biotoplivo-i-krossovki-iz-chaynogo-griba&placeBit=1&hash=3f7bfd5e764a97a666a0f91fc9e9278a2147bac49abdacebb6449b781d4d5ca0","isPaidAndBannersEnabled":false}
Маркетинг
Skyeng

Обидные ошибки в A/B-тестах, которые лучше не повторять дома

Давайте поговорим, что может случиться, если вы немного налажаете в дизайне или недоработаете заполнение своего шаблона A/B-теста. И как все это исправлять.

Запуская свои первые эксперименты, я считала, что все эти «три / пять / семь самых популярных ляпов», о которых читала в статьях и слушала на конференциях — уж точно не про меня. Тем более в дизайне теста помогал большой красивый шаблон исследований, принятый в компании. Но на практике ждали подводные камни.

Хотела нанести пользу новым пользователям, но они вели себя не так, как задумано

Основной инструмент продаж в Skyeng — бесплатное вводное занятие по видео с преподавателем-методистом. Мы проводим уроки на своей платформе, и бывает, что ученик пытается подключиться к звонку, но у него не захватывается микрофон или камера.

Это может произойти по десяткам причин: от банального мисклика по уведомлению до неполадок на стороне ученика. Бывают и совсем экзотические случаи: например, как-то раз человек пробовал заниматься из Tesla, а там свое ПО, которое мы не поддерживаем

Если быстро устранить проблему не получается, происходит технический срыв вводного урока:

  • у ученика остается негатив,

  • у преподавателя срывается занятие,
  • школа лишается конверсии в оплату здесь и сейчас (это основная метрика нашего отдела), компенсирует выход на урок преподавателю и запускает процесс по переносу занятия.

Страдают все. Поэтому в прошлом году мы затеяли кучу проектов по снижению технических срывов. Каждую идею тестировали: бизнес хотел понимать, работает ли фича и отобьются ли затраты на ее поддержку.

Одно из решений, которое надо было запустить в тест — квест проверки оборудования

Идея простая: не ждать момента выхода на урок, а предложить ученику проверить камеру и микрофон заранее — когда он оставил заявку на обучение. Если что-то пойдет не так, сформируем тикет в техподдержку, и у ребят будет несколько часов, чтобы решить проблему.

Когда делила пользователей на тест и контроль, ожидала, что в тестовой группе люди будут кликать на виджет и пройдут квест. Что может пойти не так?

В контрольной группе (“А”) все шло своим чередом — люди оставляли заявку и шли по своим делам. Но после теста мы увидели, что процент технических срывов в группе “А” и “В” был схож до сотой доли процента. Хм, это все в тестовой все группе проходили квест, но он не помогал, или никто не заходил внутрь?

Мы не знали — не было логирования. Два этапа слились в один, и оказалось, что мы не можем их разделить. Пришлось перезапускать тест и логировать ключевой этап «зашли в квест». Мы узнали, что в него заходили около 10% пользователей. З

начимого роста метрики не случилось: квест канул в лету, проверку оборудования в итоге встроили в онбординг при глобальном редизайне. А я теперь проверяю на старте, будут ли у меня данные обо всех ключевых этапах воронки.

Не думали о масштабировании. Или история про звонок, который и правда очень важен для нас

Помимо технических проблем, иногда ученик просто не появляется на том самом бесплатном вводном уроке — потому что проспал, вылетело из головы, что-то перенеслось и так далее.

Поэтому перед каждым занятием методисту нужно найти ученика, который готов к созвону: для этого система выдает ему несколько контактов, и преподаватель их обзванивает. Это «отъедает» 12-15% времени, которое человек может потратить на что-то более полезное или приятное.

Кажется, хорошая возможность для автоматизации — пусть звонит робот. Нужен А/В тест: ведь часть людей, услышав робота, может кинуть трубку, и возможность что-то просадить — очевидна. Мы запустили тест и поначалу все шло на удивление хорошо, но… Нас подвел перфекционизм.

В ряде сценариев роботу нужно было переводить звонки на человека-оператора: например, если ученик хотел отменить урок, оператор должен был внести изменения в CRM. А иногда роботу просто попадались разговорчивые собеседники — система не была рассчитана на серьезное распознавание речи и поддержку диалогов, тут тоже нужно было подключать человека.

Мы хотели сделать опыт пользователя максимально бесшовным и решили переключать такие звонки сразу на входящую линию телефонии. Даже если вопрос не был срочным.

Методисты в тех же случаях говорили: «Вам перезвонят через 3-5 минут, чтобы переназначить урок». И у операторов был запас времени, чтобы распределять нагрузку и успевать помочь всем.

Договориться с роботом операторы не могли. И он создавал пики с несколькими срочными звонками в минуту. Схема оказалась немасштабируемой.

В пиковые моменты ситуация напоминала классическую игру) За фото спасибо «Википедии» и ее контрибьютору perepelin30

Мы вернулись к схеме, которую используют методисты, — если человек четко озвучивал запрос на перенос, робот отвечал «Мы перезвоним». Сразу на операторов стали переводиться только потенциально срочные вопросы. После этих изменений пришлось запускать тест заново, так как изменение могло повлиять на ключевые метрики.

А мы теперь перед каждым экспериментом задаем вопрос: «Ок, если все пойдет хорошо, раскатить-то это сможем?»

Запускала тест, проверяла, что все идет нормально, шла разгребать кучу текущих задач

В Skyeng есть очень классная и растущая часть аудитории — это дети, которые учат с нами математику и английский. Но мы не можем проводить вводный урок для ребенка, если не присутствует его родитель. Прямо юридически не можем. Поэтому, если ребенок подключается один, происходит срыв урока. Дальше вы знаете: негатив, перезапись и прочее.

Родителей всегда предупреждали об этом устно, при звонке, на котором согласовывали время занятия. Но от звонка до урока проходило время и, конечно, не все помнили об этой договоренности.

Тогда пришло решение: давайте отправлять смс-напоминание. Примерно такой текст уходил родителю.

Рост числа вводных уроков без срывов не значит роста конверсии в оплату. Нужно прикинуть ROI. Для этого проведем эксперимент:

  • рандомно поделим все заявки по детскому направлению на две группы,
  • родителям в первой группе не отправим ничего — у них обычный флоу,

  • родителям в другой группе отправим два смс-напоминания: за 24 и за 1-2 часа до начала урока.

Стартовали тест, сделали проверку в первый день, пошли разгребать текучку.

Через пару недель заглядываю в дашборд — а там кроме тестовой и контрольной группы есть еще какие-то пользователи.

Если мы хотели делить 50 на 50, то красный график явно говорит: что-то пошло не так.

Оказалось, виной всему банальный баг: что-то не то с событиями, смс по триггерам уходили не всем. Баг починили, но тест пришлось перезапускать заново: в итоге, даже если у вас есть правильный дизайн теста, со всеми заполненными шаблонами и так далее — это не значит, что тест пройдет гладко. И заглядывать в него стоит как можно чаще.

p.s. Я очень надеюсь, что этот текст кому-то поможет совершить меньше ошибок в своих тестах. Скорее всего у вас будут или уже есть свои забавные кейсы: будет круто, если поделитесь ими!

p.p.s. Пост основан на докладе Оксаны Речинской в ростовском ИТ-сообщества RnDTech.

0
0 комментариев
Популярные
По порядку
Читать все 0 комментариев
Штраф 10 тысяч рублей за утерю терминала, который банк забрал сам

Здравствуйте! Пишу про СберБизнес.

Лайфхак в подборе: как ATS-системы помогают экономить время и бюджет рекрутеров

Процесс рекрутинга существенно не отличается от компании к компании. Есть несколько типичных шагов, которые проходит рекрутер: размещение вакансии на джоб-бордах, поиск соискателей по базам, согласование кандидатов с заказчиками, собеседование, выдача и проверка тестового задания, проверка кандидата службой безопасности.

Медитация — это Prosto: история самого прибыльного сервиса для заботы о ментальном здоровье
Главная страница приложения Prosto: Медитации и Сон
Сервис аренды электросамокатов Whoosh начнёт работать в Португалии в феврале 2022 года и вложит в запуск $20 млн Статьи редакции

На старте в Лиссабоне будет работать 2500 самокатов.

Whoosh
Эксперимент: оформляем банковские карты без бумажных документов

Оформление затянулось, но проект все равно продолжили развивать.

Kornia - Python библиотека для обработки изображений в задачах CV

В этой статье я хотел бы познакомить читателей с библиотекой для ЯП python — Kornia, имеющей богатый функционал в области computer vision. Библиотека написана с использованием pytorch, в ее основе лежат готовые решения, такие как torchvision, PIL, skimage, tf.image, OpenCV. В Kornia реализована возможность выполнения вычислений не только с…

«Хочу супер-пупер мега продукт, начинайте штормить». Разбираемся, как гроуз-хакинг помогает бизнесу расти

Подкаст «Бизнес, роботы мечты» — это клуб предпринимателей, где помогут, если что-то идёт не так; покажут новую цель, если застопорился.

Это Элви Рэй Смит: он мечтал создать анимационный фильм на компьютере, соосновал Pixar, но ушёл из компании из-за Джобса Статьи редакции

Смит создал альфа-канал, который используется в Photoshop и других редакторах, работал в Xerox и LucasFilm и убеждал всех, что за компьютерной графикой будущее, однако всерьез его никто не воспринимал – кроме Стива Джобса.

Apple вышел в лидеры продаж на китайском рынке смартфонов впервые с 2015 года

Apple вышел в лидеры продаж на китайском рынке смартфонов впервые с 2015 года. Теперь его доля там, согласно данным издания Cult of Mac, составляет 22% против доли Vivo и Oppo на уровне 20% и 18% соответственно.

На сайтах с эквайрингом от ПСБ появился Yandex Pay

Покупатели с аккаунтом «Яндекса» смогут оплачивать покупки, не вводя данные карты.

История о том, как я привез в Россию самые продвинутые детские клюшки для хоккея. И чем они такие продвинутые

Привет! Меня зовут Александр Тягалов, очень рад нашему «заочному» знакомству. Расскажу вам о создании особенного бизнеса. Три года назад мы с Владимиром Тронько привезли в Россию и продаем (с каждым годом все успешнее) детские клюшки финской марки VIKKELA. У этих клюшек нет аналогов на Российском и Европейском хоккейном рынке, так что, с одной…

null