Что такое A/B-тест?
A/B-тест — это маркетинговое исследование, которое помогает управлять эффективностью веб-страниц.
Пользователей делят на две группы: первая — контрольная, в которой веб-страницу сохраняют в исходном варианте. Вторая — группа, в которую вносят изменения. То есть два варианта одной страницы показывают разным сегментам пользователей и анализируют, какой из них дает лучшую конверсию.
Тестировать можно цвет кнопки, дизайн веб-страницы, способы оплаты, текст объявления на сайте и многое другое.
А если вариантов больше двух? Например, нужно проверить три варианта формы регистрации.
В этом случае проводят мультивариантное тестирование – одновременно сравнивают больше двух версий одного изменения. На каждый вариант выделяется часть аудитории, в конце теста результаты сопоставляют.
Когда проводить A/B-тесты?
Обычно тестирование проводят когда у бизнеса есть данные, которым можно доверять. К примеру, если интернет-магазин получает среднемесячные показатели и работает без сбоев.
А вот когда продукт только на старте и трафика пока мало, с тестированием лучше подождать. Есть риск, что исследование затянется до получения статистически значимого результата и гипотеза потеряет актуальность.
Кто вообще проводит такие тесты?
Обычно тестирование заказывают бизнес-аналитики или маркетологи. Специалисты собирают данные о продукте и формируют гипотезу. К примеру, они могут изучить тренды дизайна и предположить, что кнопка со скругленными углами увеличит конверсию.
Затем формируют требования для запуска тестирования, определяют метрики и передают ТЗ дизайнерам и разработчикам. Дизайнеры рисуют разные варианты кнопок, разработчики – разделяют аудиторию на части и показывают ей разные варианты.
Что происходит после тестирования?
Выбирают вариант, который отработал лучше всего, и применяют его на 100% пользователей. После этого снова дожидаются базовых результатов, которым можем доверять, и продолжают тестировать ту же область или переходят к другой.
Сколько это стоит?
Цена зависит от времени, которое потратит разработчик, дизайнер и другие специалисты. К примеру, вы хотите протестировать два варианта формы регистрации. Дизайнер должен будет нарисовать вторую версию формы, Frontend-разработчик — сделать верстку, Backend-разработчик – интегрировать верстку на сайт и разграничить трафик на два варианта. На такую задачу каждый специалист потратит около часа своего времени.
Сколько можно заработать?
Для одного из клиентов удалось заработать 35 миллионов рублей за две недели «Черной пятницы». Специалисты протестировали более 100 гипотез и «сломали» конверсию в покупку с 7% до 0,3%.
Расскажите еще о каком-нибудь классном тестировании?
В 2020 году моя команда выводила на рынок новый косметический продукт. В общей сложности на A/B-тесты было потрачено около 500 тысяч рублей, компания-заказчик заработала 2 млн. рублей за 4 недели после старта продаж.
Мы создали два аккаунта фейковых брендов и запустили рекламу на клики. Проверяли материал флакона и его форму — стеклянный или пластиковый, круглый или квадратный. Затем тестировали носик — дозатор или крышка. После этого определялись с цветом продукта и фоном для фотографий. В результате получилось более 600 тестов и 1200 рекламных объявлений, которые заработали бизнесу 2 млн. рублей.