{"id":13571,"url":"\/distributions\/13571\/click?bit=1&hash=d83cff4565300d1a2d0608fa73dd700b196f4b77356ac6255703ca3cdf2503d0","title":"\u041a\u043e\u043b\u043b\u0430\u0431\u044b, \u0440\u0435\u044e\u0437\u044b, \u043a\u043e\u043b\u043b\u0430\u0436\u0438... \u0414\u043b\u044f \u0447\u0435\u0433\u043e \u0432\u0441\u0451 \u044d\u0442\u043e?","buttonText":"\u0423\u0437\u043d\u0430\u0442\u044c","imageUuid":"bf0e0fe0-842c-5899-bb40-4efc00426ccf","isPaidAndBannersEnabled":false}
Maxim Technology

А/В-тестирование: как быстрый тест помогает лучше понимать клиентов

Привет! Мы — Maxim Technology, международная IT-компания, которая занимается разработкой ПО и приложений для сервиса заказа такси «Максим». Наш главный продукт — клиентское приложение «maxim — заказ такси», которым пользуются миллионы людей в 20 странах. Делимся опытом, как мы провели А/В-тестирование в нашем приложении.

A/B тестирование, или сплит-тестирование, — эксперимент, который позволяет сопоставить контрольный вариант продукта (А) с его измененной версией (В) и оценить эффективность каждой из версий для клиента. Тестирование проводится на двух одинаковых группах пользователей, одной из которых виден вариант А, а второй – В.

В Maxim Technology продакт-менеджеры и дата-аналитики используют этот тип тестирования не так давно:

— Большинство крупных компаний прежде, чем внедрять в свой продукт какую-либо фичу, сделать редизайн, да и просто поменять цвет какой-нибудь иконки, проводят эксперимент на клиентах.

С помощью этих тестов мы изучаем поведение пользователей в разных группах. Так мы внедряем только то, что действительно нужно и удобно клиентам. — рассказала product manager Юлия Биндюк.

Инструментов для проведения тестирования множество. Наши дата-аналитки используют Firebase — это удобный сервис, позволяющий протестировать изменения в интерфейсе и оптимизировать приложение.

Зачем бизнесу нужны A/B-тесты?

Тестирование помогает найти способ улучшения конверсии, наладить экономические показатели и изучить поведение пользователей.

Зная предпочтения пользователей, бизнес может предлагать им именно то, что они хотят видеть в продукте. В маркетинге такое понятие часто называют «решить проблему клиента». Наше приложение клиент открывает с определённой целью – доехать до нужного места. Если, например, кнопка «заказать» расположена неудобно, её сложно найти, или не известна цена, — скорее всего, пользователь захочет воспользоваться другим приложением.

Как проводится А/В — тестирование
Разберем этапы эксперимента на конкретном примере: есть предположение, что, если добавить на главный экран приложения для заказа такси карту, то пользователю будет удобнее создавать заказ.

На скриншоте слева – как было, по центру – 1 вариант с картой, справа – 2 вариант

Для начала нужна цель — что я хочу получить от изменений?

Наша команда хочет повысить коэффициент конверсии, чтобы как можно больше человек, зайдя в приложение, заказали такси.

Затем нужно определить метрики, которые покажут, насколько новая версия успешнее старой. Для нас главная метрика — это конверсия. Выделим две переменных: запуск и заказ. Если поделить количество заказов такси на количество запусков приложения, получится определенное число — оно и будет показывать, насколько выросла или снизилась конверсия после изменений.

— Из интересного и хитрого: мы используем методы снижения дисперсии и увеличения чувствительности метрики. Это позволяет сократить тест с одного месяца или даже года до двух недель.

Метод линеаризации повышает чувствительность метрики. Зачем нам высокая чувствительность? К примеру, когда конверсия 50%, то погрешность в +\- 5% тебя вполне устроит. Но когда конверсия всего 5%, то та же погрешность тебе уже не подойдет. — рассказал руководитель отдела анализа данных и машинного обучения Игорь Петров.

С метриками разобрались. Дальше необходимо разработать гипотезу — если сделать определенные изменения в приложении, чего мы достигнем?

Всего есть две гипотезы — нулевая и альтернативная. Нулевая подразумевает, что разницы в версиях А и В практически нет, а все изменения минимальны и получены случайно. Эту гипотезу мы стремимся опровергнуть.

Альтернативная же, напротив, предполагает, что версия В отличается от версии А. Ее мы надеемся подтвердить.

Наша гипотеза в том, что, если добавить на главный экран приложения карту — пользователи будут быстрее создавать заказ и меньше ошибаться в определении адреса.

Осталось запустить А/В — тестирование и проверить, так ли это.

Для эксперимента необходимо поделить клиентов на две группы: например, на старых и новых. Затем каждую из групп поделить еще на две: тех, кто увидит старую версию приложения, и тех, кому покажем обновленную.

Далее нужно решить, какая часть пользователей будет принимать участие в эксперименте. У нас в тестировании будет задействовано только 10% от всей аудитории пользователей.

Кому будет показан старый вид приложения, а кому – новый, определится случайным образом: у всех пользователей одинаковый шанс увидеть ту или иную версию.

Сам эксперимент обычно длится две недели.

Когда тестирование завершено, нужно проанализировать результаты, рассчитать полученные значения нужной метрики для старой и новой версии, а затем определить разницу между ними.

Далее необходимо оценить, насколько статистически значимо полученное значение. Связана ли разница между результатами двух версий с нашими изменениями, или она получилась случайно: например, дождь на протяжении недели заставил большее число клиентов воспользоваться такси за этот период. Чтобы нам убедиться, что результаты связаны с нашими нововведениями, нам нужно сравнить статистические данные с уровнем значимости.

Какие результаты мы получили во время тестирования карты на главном экране

Измененная версия В получила результаты хуже, чем версия А. Значит, пользователи, которые на главном экране видели измененную версию с картой, меньше заказывали такси, чем те, кто видел старую версию.

Неуспешного тестирования не бывает. Эксперимент помог понять, что такой экран в приложении не особо удобен клиентам. Результаты, полученные во время тестирования, позволяют бизнесу оставаться востребованным и быть на одной волне с потребителем.

Теперь нужно понять, почему редизайн не сработал так, как ожидалось, разработать новые гипотезы и провести новые тесты, чтобы добиться максимального удобства для пользователей.

Итог прост: А/В-тестирование – это быстрый и малобюджетный способ улучшить свой продукт. С ним можно:

• повысить конверсию

• узнать больше о том, что нравится и не нравится клиентам, упростить взаимодействие пользователей с продуктом, сделать его более понятным и интуитивным

• увеличить прибыль компании

— Наша цель — это оптимизация эффективности продукта и его работы, а также улучшение бизнес-показателей, и А/В-тестирование помогает в ее достижении. — поделился Игорь

Еще немного об экспериментах в Maxim Technology

Эксперименты — это неотъемлемый этап в разработке программного обеспечения при продуктовом подходе (о том, что такое продуктовый подход — в следующих статьях).

— Сейчас у нас есть инструмент только для экспериментов в мобильных приложениях. Мы также изучаем инструменты для A/B-тестов на наших сайтах на форме регистрации водителей/исполнителей и уже готовимся к их проведению.

Мы думаем над собственной платформой для проведения экспериментов внутри нашей системы. Платформа должна будет предоставить возможность проведения тестирования при разработке и изменениях в основной бизнес логике. — рассказал директор по продуктам Алексей Медведев.

Для оценки эффективности изменений сравниваем прошлый период без изменения, и новый период, в котором есть изменения.

При таком сравнении легко сделать неправильные выводы, потому что есть множество факторов, которые влияют на результат — погода, праздники, политические и социальные события.

A/B-эксперименты исключают влияние этих факторов, так как запускаются в одно время на одинаковой выборке пользователей.

Статистическая значимость эксперимента легко объясняется на простом эксперименте: подбрасываем монетку и фиксируем, сколько раз выпадет «орел» и «решка».

Эксперимент наглядно показывает, что чем меньше подбрасываний мы сделали, тем меньше точность результата.

К примеру, если подбросить монетку 10 раз и зафиксировать что «орел» выпал в 2 раза чаще, можно сделать ошибочный вывод что он всегда выпадает чаще.

Но если провести 100 таких экспериментов, то станет ясно, что вероятность выпадения «орла» и «решки» стремится к одинаковой величине 50%.

Одна из важных подсистем такси — ценообразование. Если внедрять изменения и создавать новые тарифы через A/B-тесты, то будет математически подтвержденная визуально наглядная картина о том, насколько лучше или хуже работает изменение.

— Проведение тестов уменьшает влияние мнений людей в том или ином вопросе. Иногда, чтобы выбрать направление развития системы или банально название кнопки в интерфейсе, уходит много времени на обсуждения, которые порой заканчиваются ничем или даже негативом между сотрудниками.

A/B-тесты позволяют избежать многих ошибок, нерационального использования ресурсов компании и минимизировать риски получения убытков.

Чем больше единовременных экспериментов может проводить компания, тем она успешнее, потому что внедряются только те изменения, которые положительно влияют на бизнес метрики. — говорит Алексей.

0
Комментарии
Читать все 0 комментариев
null