Alchemer vs Webask: A/B-тест сервисов опроса

Alchemer - инструмент для создания опросов любой сложности. Мне как UX-исследователю важно иметь серьезный инструмент для работы. Разобравшись через месяц, зауважал Alchemer за широкий набор функций. Однако, устаревший интерфейс опроса расстраивать не переставал, поэтому, когда ребята из WebAsk предложили протестировать свой инструмент, с радостью согласился .

Отправил по 8074 push-уведомлений на каждый вариант опроса. Текст push-уведомления, время рассылки, логика опроса и формулировки были идентичны. Результаты и выводы - в конце.

Не буду долго останавливаться на дизайне, по мне, дизайн WebAsk намного приятней Alchemer. В плюс Alchemer могу записать только возможность брендирования опрос. Вот скриншоты идентичного вопроса в разных сервисах.

В опросе была зависимость показов вопросов от ответов пользователя. Работу настройки логики в WebAsk сильно осложняли уже сформированные Alchemer-ом ментальные модели. Разобрался :)

В WebAsk трудно работать с отчетом. Нельзя удалить выбросы или тестовые ответы, фильтровать по ответам или сравнивать сегменты. Да, можно выгрузить csv, но это потребует большего времени на обработку.

Хочу похвалить WebAsk за функции передачи скрытого параметра через url. Alchemer сам создает ссылку для дифференциации сегментов. Вариант со скрытым параметром мне нравится больше за его гибкость.

Меня впечатлил разброс цен на тарифы использования сервисов. Стоимость максимальных тарифов отличается 10 раз.

Но важно отметить, что и платите вы за разное: тарифы Alchemer отличаются в ограничении функционала, а WebAsk - выборки.

Конверсия в ответ на 1-й вопрос WebAsk (7.6%) значимо ниже опроса Alchemer (8.7%). Конверсия ниже в каждом сегменте пользователей (s1, s2, s3).

Alchemer показал конверсию в 1-й вопрос выше WebAsk. На конверсию может влиять множество причин от скорость загрузки опросника до его брендирования. Точную причину я не знаю, но знаю точно, что остаюсь с Alchemer.

WebAsk выглядит симпатичней и я на себе словил гало-эффект. Alchemer - более профессиональней инструмент. За это придется переплатить.