Google Optimize – что выбрать в качестве альтернативы в 2023?

Спойлер – бесплатного ничего нет (почти).

Эта статья – обзор существующих сервисов A/B-тестирования. После ее прочтения вы сможете подобрать себе альтернативу для перехода с Google Optimize, который прекращает свое существование в привычном виде 30 сентября 2023 года.

Меня зовут Александр Игнатенко, я занимаюсь маркетинговой аналитикой в Add2Cart, консультирую по настройке и принятию решений с помощью данных и также помогаю с разработкой и внедрением кастомных моделей атрибуции и A/B-экспериментами. Кроме того я веду телеграм-канал о маркетинговой аналитике «Модель атрибуции».

Для кого эта статья

Optimizely

VWO

ABtasty

Convert

Kameleon

Firebase A/B tests

Sigma

Varioqub

UX Rocket

Заключение

Google поэтично анонсировал свертывание своего сервиса для AB-экспериментов, назвав происходящее закатом Google Optimize. Шутки шутками, но на этом бесплатном (что крайне важно) приложении выросли целые поколения гроус-хакеров. Это делает вопрос смены вендора актуальным – особенно если вы регулярно проверяете большое количество гипотез на своем веб-сайте. Поэтому эта статья будет актуальна, если вы:

Ниже подборка актуальных сервисов для сплит-тестирования с ссылками и моими ремарками.

Одна из самых сильных альтернатив Optimize, когда-то имела бесплатный тарифный план и триальный доступ. Под капотом у нее – визуальный редактор кода, серверная и клиент-имплементации, мультивариативные эксперименты, Stats Engine и API для работы со статистикой. К сожалению фокус компании давно сместился в сторону энтерпрайза, цену на годовые планы (других нет) вам озвучат только по запросу. Для пользователей Google Optimize анонсирован специальный оффер.

Visual Website Optimizer предлагает продвинутый инструмент для внесения изменения, редактор кода, AI-рекомендации по изменению текста (!), кучу интеграций (в том числе с Google Analytics), возможность тестирования мобильных приложений, бесплатный тариф до 50тыс пользователей в месяц и 30-дневный триал. Стоимость на премиум-планы не раскрывается, в сети гуляют цифры от $359 в месяц.

Продвинутые возможности таргетинга и сегментации (AI-сегментация, кросс-девайс, данные из ваших CDP), тестирование с помощью встроенных виджетов, поддержка SPA, саппорт 24/7, тепловые карты (по аналогии с вебвизором). Встречал утверждения про 30-дневный бесплатный триал и стартовую стоимость месяца от $49. На самом вебсайте стоимость не раскрывается, но можно быстро забукировать слоты для демо и расчет квот.

Мне посчастливилось пообщаться с менеджером кампании и изучить демо, но его price estimate для одного из высоконагруженных проектов не обрадовал – $100K в год.

Интересно, что в англоязычной версии статьи про закат Google Optimize отдельно упоминаются три последних сервиса (в русской версии такого нет). Контекст упоминания следующий:

Optimize will remain available until September 2023. Ahead of that, we are collaborating on integrations with the following A/B testing providers (listed in alphabetical order):

We will make our APIs publicly available so anyone can integrate their A/B testing tool with Google Analytics in the coming months.

Один из немногих игроков с прозрачным ценообразованием – от $99 в месяц для 50тыс пользователей с двухнедельным триалом. Предусмотрены интеграции практически со всеми популярными приложениями, анти-фликер, эксперименты с перенаправлением, возможность использования данных из CRM и вообще большинство функций актуальных для Google Optimize. Имплементация нетривиальна, но компенсируется отзывчивой поддержкой. Компания заботливо выкладывает на свой веб-сайт обзоры и сравнения с другими сервисами.

Ключевая фишка – AI-powered-эксперименты с участием моделей машинного обучения, которые предсказывают вероятность конверсии в реальном времени и мощный технический стек (решения для PHP, Java, Ruby, Flutter). Добавьте сюда строгое соответствие нормам GDPR и получите продвинутое решение для корпоративных команд. Стоимость не раскрывается, но я обнаруживал отзывы с цифрами около $30 000 в год.

Вертикаль бесплатного и горячо любимого разработчиками Firebase для ab-тестов. Используется для тестирования мобильных приложений и примечательна тем, что наследует функционал Google Optimize по реализации и отслеживанию результатов экспериментов. Управление происходит прямо в консоли Firebase, подмена вариантов – с помощью Remote Config.

Российский сервис от проекта консалтинга в области продуктовых экспериментов EXPF. Ребята известны своим детальным подходом к статистической проверке гипотез и стараются адекватно имплементировать это в свою разработку. Sigma устанавливается на стороне клиента или сервера и позволяет качественно управлять разбивкой трафика, формировать данные и избегать пересечения между группами. Отдельная фишка – feature-флаги, которые позволяют управлять ограниченной выкаткой нового функционала для его предварительной оценки.

Стоимость Sigma озвучивается по запросу, но в отличие от большинства (всех) остальных сервисов в каждом тарифе включен определенный объем качественной консультативной поддержки.

Сервис экспериментов от команды Яндекс Метрики находится в этапе бета-тестирования, доступ можно получить по запросу, но уже опубликованы первые живые обзоры приложения. Исходя из них мы можем понять, что Varioqub предоставляет визуальный редактор, возможность проведения экспериментов с редиректом и с помощью флагов в коде. Анализ происходит в интерфейсе Яндекс Метрики. В справке указано, что для интерпретации используется Манн-Уитни с методом бакетизации.

Базовый функционал бесплатен, расширенный – при заключении договора (цитата из справки), стоимость при этом не указывается.

Интересное решение для проведения экспериментов от российский компании Excite Kit. Сама платформа для A/B-тестов является составной частью всего аналитического сервиса UX Rocket. В рамках его установки происходит авторазметка основных событий, осуществляется сбор данных и их представление в сессионных и хитовых таблицах с разнообразными отчетами.

UX Rocket использует z-тест пропорций для оценки вариантов, позволяет довольно тонко настраивать таргетинг для проведения экспериментов на основе богатого набора своих и кастомных атрибутов и сегментов. Изменения в варианты вносятся с помощью инъекций JS-кода, но есть и визуальный редактор, который дает возможность переключаться между экспериментальными группами в режиме превью налету.

Сервис может быть интересен крупным российским компаниям, поскольку аккумулирует всю работу с данными внутри себя (не нужно прыгать с аналитической платформы в экспериментальную и обратно), подразумевает (в том числе) сервер-сайд реализацию, замыкает все данные внутри контура заказчика и предоставляет поддержку на всех этапах внедрения.

Стоимость предоставляется по запросу, но существует возможность внедрения пилотного проекта для тестирования возможностей сервиса и прогноза его окупаемости.

Каждый из указанных сервисов способен в той или иной степени заменить Google Optimize. Но при этом вероятность того, что Google совсем скоро выкатит для AB-тестов что-то более GA4-friendly я оцениваю как высокую.

Планируете ли вы переезд на другие сервисы AB-тестирования? Заметили ошибку или неточность? Напишите об этом в комментарии.

Другие мои мысли на тему маркетинговой аналитики можно почитать в телеграм-канале «Модель атрибуции».

Вам мог понравиться этот пост – прошу в этом случае оставить лайк и поделиться им с друзьями – для меня это очень важно.