A/B-тесты: как развивать бизнес с помощью экспериментов

Для всех, кто думает, как зарабатывать больше на своем интернет-магазине. Рассказываем, зачем A/B-тесты нужны ecommerce, когда их проводить и как избежать ошибок.

A/B-тесты: как развивать бизнес с помощью экспериментов
А вы уже использовали AB-тесты для себя или клиента? 
Да, весьма успешно.
Да, негативный опыт.
Нет, но собираюсь попробовать.
Нет, и не собираюсь пока.

Немного о Growth marketing или Growth hacking

Четкого определения термина Growth hacking нет. Впервые он был озвучен относительно недавно, в 2010 году, Шоном Эллисом, маркетологом Dropbox. В своей статье о старт-апах он упомянул о гроу хакере, как о специалисте, который с помощью нестандартных решений и тестов находит наилучшие решения, позволяющие проектам расти.

Growth hacking (гроу хакинг) — это подход, который позволяет с помощью быстрых экспериментов над разными составляющими бизнеса определить самые эффективные пути развития.

Объектом эксперимента может выступать что-угодно: от самого продукта до отдельного этапа воронки продаж. Главное, чтобы на основе полученных данных, можно было формировать стратегии роста. И если в оффлайне проведение маркетингового исследования может стоит десятки тысяч долларов, то экспериментировать онлайн не только бюджетно, но и доступно.

В интернет-маркетинге эксперименты проводятся с помощью а\б-тестов.

Что такое A/B-тестирование (сплит-тесты)

A/B-тестирование (оно же сплит-тестирование или аб-тестирование) — это метод исследования, который позволяет оценить эффективность различных элементов путем сравнения. Такой тест показывает, какой вариант лучше решает поставленные задачи.

Мы проводим тесты с помощью Google Optimize. Можно использовать и другие сервисы, но GO совершенно бесплатный. К тому же, интеграция с Google Analytics обеспечивает сохранность данных (не нужно предоставлять доступ сторонним сайтам).

Дмитрий Борзенко, Web-аналитик, Promodo

Зачем бизнесу нужны сплит-тесты

A/B-тесты позволяют найти способ, как улучшить конверсию, экономические показатели и поведенческие факторы.

Главные преимущества A/B-тестов — это доступность и относительная малобюджетность. В зависимости от изменений, которые будут тестироваться, при малых затратах можно достигнуть больших результатов.

Увеличить объем продаж или количество регистраций, задержать клиента на странице магазина — все это и намного больше можно сделать благодаря сплит-тестированию.

Например, тестируя более заметный СТА-элемент, мы увеличили количество регистраций на сайте клиента на 9%.

A/B-тесты: как развивать бизнес с помощью экспериментов

В интернет-магазине можно тестировать расположение элементов, дизайн, надписи и тексты. Если говорить о страницах, то чаще всего это корзина, карточка товара и разные формы захвата (регистрация, подписка на новости).

АБ-тесты помогают оставаться конкурентоспособными, подстраиваясь под изменения рынка и пожелания клиентов, с наибольшей выгодой для компании.

Когда нужно проводить A/B-тесты

Идеального времени, чтобы начать тестирование нет. Проводить тесты необходимо непрерывно, при условии, что у компании есть четкие цели и ресурсы. У приемов, которые позволяют бизнесу расти, есть жизненный цикл. Те тактики, которые приносили вам деньги год назад с каждым днем становятся менее эффективными. Во-первых, потому что пользователи быстро привыкают к любым изменениям и перестают обращать на них внимание. Во-вторых, потому что игроки рынка копируют работающие приемы. Для того чтобы проекты росли, необходимо постоянно развиваться.

A/B-тесты: как развивать бизнес с помощью экспериментов

Стоит учесть, что нежелательно одновременно тестировать гипотезы, которые касаются пересекающихся элементов (например, изменение цвета кнопки и текста). Это влияет на продолжительность экспериментов. По этой причине в крупных компаниях, тесты проводятся постоянно.

Идеи для тестирования берутся из аналитики (скажем, определяются слабые места сайтов) или из бизнес-задачи (например, увеличить количество транзакций). Можно подсматривать идеи у конкурентов, но то, что сработало для другой компании и аудитории, может не сработать у вас.

Можно ли проводить ab-тесты самостоятельно

Крупные онлайн-ритейлеры проводят эксперименты самостоятельно, ведь на проектах такого масштаба чаще всего есть выделенная команда, которая состоит из специалистов по маркетингу, веб-аналитике, дизайну, копирайтингу и разработке.

На практике, средним и мелким ecommerce проектам проводить тестирование внутри компаний бывает тяжело из-за отсутствия кадров и опыта. Именно по этим причинам обращаются в агентства. Владельцу или менеджеру достаточно прийти с запросом формата хочу увеличить объемы продаж, а команда агентства сама просчитает возможные варианты, протестирует и презентует результат.

Если ваша компания обладает временными и кадровыми ресурсами, то можно провести исследования самостоятельно. Важно понимать, что отсутствие опыта влечет за собой риски, в том числе финансовые.

Что важно знать об A/B-тестировании

АБ-тестирования — один из самых доступных методов маркетингового исследования, но есть определенные тонкости, которые делают проведение аб-тестирования невозможным.

1. Отсутствие целей, проблемы, гипотезы. Прежде, чем проводить тестирование, необходимо определить проблему или установить цель. Получать больше заказов или сократить отток клиентов? Например, если вы хотите получать больше заказов, то можете поработать с текстом и дизайном кнопки, которая за это отвечает. Затем формулируется гипотеза, например: «Красный цвет кнопки срабатывает лучше, чем зеленый, так как он заметней».

Важно понимать, что гипотеза — это не прогнозирование. Прогноз — это ваши предположения, если гипотеза оправдается.

2. Тестирование нескольких гипотез одновременно. АБ-тесты могут проводиться одновременно только если не касаются пересекающихся элементов или процессов. Иначе, нельзя будет определить, что привело к результату.

Приоритезируйте. У вас или компании наверняка есть первоочередные цели. Достигнуть их можно разными путями, но благодаря опыту и данным аналитики, специалисты помогут определиться, какой тест окажется эффективней.

3. Останавливать тест, когда захочется. Для проверки каждой гипотезы нужно свое время, это зависит от множества факторов: сезона, трафика, наличия промо-активностей и т.д. Даже если кажется, что один вариант явно лидирует. Остановив тестирование раньше, можно получить недостоверные результаты, которые повлекут неверные стратегические решения. Проводить тест нужно до тех пор, пока не будет достигнут минимальный результат.

4. Привязываться к одному показателю. Будьте внимательны при оценке результатов. Допустим, вы тестировали показатель конверсии и определили, что красную кнопку нажимают чаще. Не забудьте проверить экономические показатели. Средний чек или объем продаж мог упасть.

Обязательно убедитесь, что выполнили следующие действия:

  • определили размер выборки;
  • проверили однородность аудитории (А/А-тестирование или проверка с историческими данными);
  • учитывайте окружающую среду.

Напоследок

Ecommerce рынок в Украине выроc практически на 30%, а это значит, что продавать становится тяжелее. Для того чтобы стать действительно крупным игроком рынка, необходимо постоянно развиваться и совершенствоваться. Благодаря своей бюджетности и доступности, AB-тесты становятся универсальным инструментом для поиска новых возможностей. Важно понимать, что не успешных аб-тестов не бывает. Данные полученные на их основе, позволяют бизнесу масштабироваться.

Делитесь своими успешными и не очень историями сплит-тестирования. Будет интересно почитать.

1212
6 комментариев

Очень мало практической информации. Пересказ каждой второй статьи про сплит-тесты. Если хотите поделиться экспертностью в теме, то лучше осветить вопросы:
1) Как эффективно организовать процесс генерации гипотез для тестов?
2) Как с помощью GO (или другого инструмента) тестировать более сложный гипотезы, чем замена цвета кнопки? Например, 2 варианта первого экрана на товарных страницах в интернет магазине, при условии что точкой входа может быть и товарная страница, и страница другого типа.
3) Как правильно проверять статистическую значимость тестов более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека? Или как правильно принять решение о необходимости исключения из анализа статистических выбросов?
4) Нужны ли a/b тесты, если ты не яндекс или озон, а обычный региональный бизнес с 10к визитов и 100 лидами в месяц?

1
Ответить

Дмитрий, спасибо за фидбек.
Эта статья — не техническая, мы не хотели рассказать механизм проведения тестирования, кстати, таких пересказов тоже хватает.
Данный материал мы готовили для владельцев бизнеса и специалистов, которые ищут возможные точки роста и не рассматривали аб-тесты в принципе.

Вы предложили отличные вопросы, будем думать над тем, чтобы написать вторую статью, более практичную.

1
Ответить

Комментарий недоступен

1
Ответить

Артур, спасибо за фидбек)
Будем стараться.

1
Ответить

Недавно пробовал проводить тест через Google Experiments. Почему-то на странице «B» не работали ссылки. Они все вели на главную, не знаете почему так?

Ответить

Сергей, вероятно была некорректная настройка. В целом, функционал Google Experiments считается устаревшим. Его перестали поддерживать с момента появления Google Optimize.
Рекомендуем настраивать тесты в нем.

Дмитрий Борзенко
Web-аналитик, Promodo

Ответить