10 фич, которые выведут ваше A/B-тестирование на новый уровень

Недоработки в проведении экспериментов в A/B-тестировании могут затормозить рост продукта и свести все труды продуктовых и маркетинговых команд на нет. Со временем разработчики Kameleoon ввели десятки функций и возможностей, которые помогают среднему и крупному бизнесу масштабировать свои кампании по A/B-тестированию — мы собрали топ-10 самых полезных функций в этой статье.

Время, необходимое для того, чтобы тест привел к конверсии, не должно быть фиксированным для всех экспериментов. Например, клиенту, прошедшему A/B-тестирование, могут потребоваться недели, чтобы решиться забронировать отпуск, и всего несколько минут, чтобы купить пару обуви.

Как это работает: пользователи Kameleoon могут использовать разные окна атрибуции конверсий в зависимости от длительности цикла покупки, чтобы включить все конверсии в рамках теста, будь то целевые или нет, и исключить конверсии, не связанные с проведением теста.

Влияние ваших кампаний может выходить за рамки одного целевого сеанса — отдельного визита, инициированного пользователем. Благодаря модели данных о посетителях возможно проследить влияние кампаний в течение нескольких последовательных сеансов. Когда вариант отображается у пользователя, все конверсии, совершенные этим пользователем, относятся к варианту, пока кампания активна.

Тем не менее, влияние кампании не безгранично. Через определенный промежуток времени можно обоснованно считать, что поведение пользователя уже не привязано к той вариации, которая ему была присвоена. Окно атрибуции определяет период времени, в течение которого конверсии и транзакции посетителя относятся к выбранной вариации. По умолчанию установлено значение 7 дней. Ограничения окна атрибуции зависят от вашего цикла продаж, а также от бизнес-модели вашего сайта — они также могут отличаться от одной кампании к другой. Kameleoon позволяет точно определить эти ограничения (количество часов или дней) и адаптировать их к каждой ситуации.

Вы можете найти окно атрибуции, связанное с одной из ваших кампаний, в разделе «Ключевая информация» в правой части страницы.

На странице результатов вашей кампании фильтры и разбивки имеют ценность за посещение. Например, если вы примените разбивку, в таблице результатов для каждой цели будут перечислены все возможные значения единиц и указано количество посетителей, которые подтвердили это значение хотя бы один раз в течение окна атрибуции. Например: посетитель совершает три визита в разных браузерах: первые два в Chrome, следующий в Firefox. При разбивке по браузерам этот посетитель будет присутствовать как в строке «Chrome», так и в строке «Firefox» таблицы.

При проведении множества тестов на нескольких страницах нужно постоянно входить в систему, и непрерывный мониторинг данных может быть непродуктивным. Чтобы сделать процесс более эффективным, Kameleoon дает пользователям возможность настраивать метрики и получать уведомления, когда результаты теста пересекают определенный порог.

Как это работает: пользователи могут выбирать из нескольких предложенных настроек оповещений или определять свои собственные (например, «Custom alerts»). Их можно адаптировать к любым тестам, включая метрики улучшения, коэффициент конверсии, достоверность тестов и количество посещений.

Виджеты помогают быстро вносить изменения в веб-сайтах без использования ресурсов разработки. Баннеры, счетчики обратного отсчета и оверлеи можно создать за считанные минуты. Однако большинство библиотек виджетов не учитывают специфичные запросы на изменение, но с Kameleoon эта задача упрощается.

Как это работает: пользователи могут настраивать любой виджет с помощью графического редактора без кода или вносить изменения в HTML и CSS/Javascript. Кастомизированные виджеты особенно полезны для повторного использования одних и тех же элементов, например, заголовков и баннеров.

При A/B-тестировании часто случается, что на исходный вариант перестает направляться трафик, потому что он заменен другим вариантом. С Kameleoon вы можете перейти на страницу результатов в бэк-офисе и указать, какой вариант является исходным. Это помогает изменить эталонное значение и обеспечить правильное отображение показателя улучшения.

Например, с помощью теста нужно проверить, работает ли новое мегаменю лучше, чем классическое. Новая вариация, оснащенная мегаменю, может быть запрограммирована и реализована вашими внутренними ресурсами или с помощью разработчиков Kameleoon, но и классическое меню доступно на исходном веб-сайте без изменений — и A/B-тест с обоими вариациями готов к запуску.

На странице результатов в Kameleoon можно увидеть много полезной информации о проведенном тесте. Команды также могут детально сегментировать результаты, чтобы сделать более точные выводы о поведении посетителей.

Пользователи платформы могут видеть, как аудитория воспринимает тестовый вариант в зависимости от типа устройства, сравнить коэффициенты конверсии между новыми и вернувшимися посетителями, узнать суммарное количество посещений веб-сайта и многое другое. Функция просмотра подробных метрик упрощает интерпретацию и понимание результатов. Кроме того, можно использовать функцию фильтрации, чтобы исключить невостребованные сегменты из общих результатов.

Точное планирование кампаний очень важно. Kameleoon имеет расширенные возможности планирования, которые включают автоматический запуск и остановку тестов, остановку тестов при достижении максимальных результатов, определенного количества посещений или числа посетителей.

Как это работает: после того, как тест готов к запуску, пользователи платформы Kameleoon могут запустить его сразу, либо запланировать на потом. Функция планирования запуска с помощью расширенных параметров позволяет запускать и останавливать тесты последовательно или при достижении определенных условий.

В компаниях единовременно работает большое количество специалистов. Иногда к работе подключаются команды извне — часто агентства, внешние консультанты или партнеры должны увидеть результаты отдельных кампаний по тестированию.

Как это работает: на странице отчетов Kameleoon пользователи могут выбрать функцию «Share» и поделиться дашбордом. Для дополнительного уровня безопасности пользователи платформы могут установить пароль перед отправкой URL-адреса панели инструментов.

Реализация вариантов интерфейса может занять много времени, особенно если они сильно изменены по сравнению с оригиналом. В процессе разработки программисту нужно запустить свой код на целевой веб-странице, чтобы пофиксить баги. Оба существующих метода для этого — копипастинг в консоль разработчика в Chrome и использование функции «Preview» от Kameleoon — громоздки и требуют длительного ожидания загрузки страниц.

Но при использовании VS Code IDE вместе с браузером Chrome, файлы кода JS автоматически загружаются в Chrome через веб-сокет. Затем Chrome внедряет новый код JS в движок Kameleoon и быстро перезагружает страницу.

Раньше пользователи Kameleoon могли отправлять имя или идентификатор теста и вариации в Google Analytics, но не могли отправлять сегменты из Google Analytics или других инструментов обратно в Kameleoon для A/B-тестирования и сегментирования клиентов. Двусторонняя интеграция позволяет создавать персонализированные кампании и CJM, а также запускать индивидуальные предложения для определенных сегментов.

Как это работает: Kameleoon использует API из отчетов Google Analytics для получения данных всех посетителей, которые в настоящее время принадлежат к релевантным сегментам, затем использует пользовательскую аналитику, которая обеспечивает легкодоступный метод извлечения данных, привязанных к конкретному посетителю. Когда этот посетитель возвращается на веб-сайт, Kameleoon получает исчерпывающий перечень всех сегментов Google Analytics, к которым он принадлежит — это позволяет использовать его в последующих A/B-тестах или персонализации опыта.

Запуск эффективной программы тестирования часто требует большого количества тестов и вариаций — это создает риск, что пользователю будет показано более одной вариации за одно посещение. Раньше команды использовали логику включения/исключения в JavaScript, что требовало навыков программирования. Теперь Kameleoon позволяет пользователям платформы без использования кода включать или исключать посетителей, которым была показана определенная вариация.

После выбора варианта теста вы сможете ориентироваться на посетителей, которые видели какие-либо варианты или конкретный вариант теста. Благодаря гибридным экспериментам Kameleoon возможно оградить клиентов от любых экспериментов — как на серверной, так и на клиентской стороне.

За регулярными обновлениями о новых возможностях площадки, трендах в A/B-тестировании и AI-персонализации подписывайтесь на наш Telegram-канал и группу «ВКонтакте».