Лого vc.ru

Почему проваливаются А/В-тесты и как этого избежать — советы основателя московских стриптиз-клубов

Почему проваливаются А/В-тесты и как этого избежать — советы основателя московских стриптиз-клубов

Директор по развитию агентства интернет-маркетинга Matik, управляющий партнер агентства увеличения продаж Agny, сооснователь двух стриптиз-клубов в Москве — Virgins и Burlesque Артём Овечкин написал заметку о том, почему большинство A/B-тестов проваливается, и почему необходимо уделять больше внимания к его подготовке, чем самому тестированию.

Поделиться

По данным marketingcharts.com, А/В-тестирование признано самым эффективным методом управления конверсией. Из более чем 1000 опрошенных маркетологов в Европе 60% считает этот вид тестирования страниц наиболее результативным. Другая, очень раскрученная методика — анализ путей движения посетителей по сайту — получила 52% положительных откликов. Наименьшие оценки получила методика сравнения с конкурентами — 26%.

Согласно другому исследованию из того же источника, только один из семи А/В-тестов признается статистически репрезентабельным и удачным. По своему опыту, я могу сказать, что в рунете А/В-тесты пока не вошли в пул обязательных маркетинговых инструментов. Это удел либо крупных, либо наиболее «продвинутых» компаний. Как показывает практика, тестирование — длительный процесс, который может занять от 1 месяца и более.

У нас же большинство компаний предпочитает работать на скорость, а не на качество. Но, принимая во внимание сокращение рынка и нехватку денег в бизнесе, я могу предсказать, что стимул «поскорее потратить деньги» на продвижение значительно утихнет. Более отчетливо проявится тенденция «потратить бюджет с умом, предварительно проведя подготовительную работу». А/В-тестирование — это основательная подготовительная работа, которая может поднять конверсию сайта в разы.

Например, благодаря А/В-тестам мы смогли увеличить конверсию «Корзины» магазина «Дискус» с 1,30% до 3,90%. Было протестировано несколько версий «Корзины», и в заключении мы остановились на совершенно новом дизайне по принципу «все на одной странице».

Однако, как уже упомянуто, большинство тестов показывает незначительные улучшения. Почему это происходит? Я остановлюсь на нескольких причинах.

Твердая почва данных

Главная причина неудач — это отсутствие подготовительной работы. Да, подготовительный этап продвижения сам нуждается в подготовке! Пусть вас это не смущает: тщательнее подготовка — лучше эффект. Пора к этому привыкать!

А/В-тест — это уже финальная стадия процесса. Перед началом проведения теста необходимо собрать следующие данные:

  • Юзабилити-анализ сайта, выполненный грамотным специалистом. Анализ выявит ключевые ошибки страницы, направит ваше внимание на главное, прояснит, что и для чего нужно тестировать. Юзабилити-анализ — карта местности с начертанными путями движения от точки А к точке В. Сроки юзабилити-аудита зависят от объема и возраста сайта, а также глубины анализа, и варьируются о 1 дня до 2 недель. Стоимость от нуля рублей (базовый анализ «по верхам») до несколько десятков тысяч (глубокий анализ с изучением статистики крупного сайта.
  • Данные по посещаемости сайта за достаточно длительный промежуток времени (от полугода). Эти данные покажут, как посетители взаимодействуют с сайтом, помогут выявить слабые стороны и направления к улучшению. В правильном случае, юзабилити-аналитик использует данные статистики в своей работе. Стоимость внедрения службы сбора статистики — 0 рублей. Вам помогут Google Analytics и «Яндекс.Метрика».
  • Наконец, вам пригодится сервис температурного (хит) маркетинга.

Суть предварительных шагов в том, чтобы собрать максимум сведений о текущем состоянии сайта. Ведь для того, чтобы сравнивать А и В, у вас должны быть не только улучшенный вариант В, но и текущий вариант А (контрольный). Иначе непонятно, что именно стало лучше и насколько.

На подготовку пред-предварительного этапа (до А/В-тестирования) у вас должно уйти 60-70% времени. Остальные 30-40% — это собственно создание страниц и запуск тестов.

Теперь у вас на руках твердые данные, что именно не так с сайтом и какие «точки и зоны» с какой целью следует протестировать. Это первое отличие правильных тестов от неудачных. «Неудачники» опираются на интуицию и здравый смысл («красная кнопка "Купить“ должна работать лучше»). Победители держат в руках статистику предыдущих месяцев и подробный анализ аудитора. Вот почему так важно собирать статистические данные с первых дней жизни сайта.

По данным marketingcharts.com, лишь 13% компаний становятся на твердую почву данных. Остальные подключают интуицию и общие представления о том, «что такое хорошо и что такое плохо» в юзабилити сайтов.

Твердое знание клиента

Понимание, почему клиент выбирает именно ваш сайт и вашу компанию — другая часть подготовительной работы. Забудьте про «поисковые запросы». Вам нужно ответить на вопрос, что такого особенного в вас и вашем сайте, что побуждает сделать покупку?

Разумеется, следует ответить и на вопрос-негатив: что такого особенного в вас и вашем сайте, что не побуждает сделать покупку?

Как вы понимаете, пресловутая красная кнопка «Купить» может увеличить конверсию, но если проблема лежит глубже, то оптимизация страницы по верхам (косметические изменения) даст жалкий результат, не стоящий усилий.

На базе ответов на данные вопросы нужно сформулировать гипотезы: что можно сделать, чтобы «нет» превратить в «да».

Известный маркетолог Эрик Райес рекомендует находить ответы с помощью серии вопросов «Почему?». Снова отбросьте интуицию и на этот раз идите «в народ». Спросите как своих клиентов, так и «недоклиентов», почему они выбрали и не выбрали вашу компанию. Несколько раз спросите их «Почему?»:

  • Почему вы задумались о покупке?
  • Почему вы кликнули на ссылку нашего сайта?
  • Почему вы выбрали наш товар?
  • Почему вы заполнили форму заявки?
  • Почему вы будете покупать у нас снова?

Как вы поняли, почти каждый вопрос может иметь и свою негативную формулировку.

Лично я не очень советую опираться на автоматизированные онлайн-опросы. Люди склонны отвечать поверхностно, когда не общаются с живым человеком. Лучше опросить десять реальных клиентов лично или по телефону, чем охватить сто человек с помощью бездушной программы. Контакт с живым человеком — вот, что подарит вам инсайт.

Твердый фундамент дизайна

В качестве твердого фундамента для создания дизайна тестируемых страниц эксперты советуют использовать каркасы. Каркасы — или модели — это наброски (схемы) страниц, используемые в качестве гипотез. Впрочем, лучше один раз увидеть, как это выглядит.

Каркасы создаются быстрее готовых дизайн-проектов страниц. На этом этапе отрабатываются гипотезы улучшений и сценарии реагирования посетителя на тот или иной вариант. В некоторых случаях к оценке каркасов можно подключить несколько реальных клиентов. Впрочем, лично я не рассчитывал бы на серьезный эффект от участия «обычных людей», так как оценка гипотез и дизайнов — сложная тема, и не все клиенты обладают достаточным уровнем абстрактного мышления, чтобы дать оценку каркасам.

После того как у вас есть на руках твердая аналитика, отчет об опросе клиентуры и несколько утвержденных каркасов, вы готовы к настоящему А/В-тестированию. Закажите создание на базе каркасов готовых страниц и «запускайте их в мир». И тогда вы попадаете в одну из семи компаний, А/В-тесты которых обеспечивают значительные результаты.


Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.
Статьи по теме
Как специалисты по SEO запустили и успешно развивают в Москве стриптиз-клубы12 февраля 2015, 08:52
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

> Лучше опросить десять реальных клиентов лично или по телефону, чем охватить сто человек с помощью бездушной программы. Контакт с живым человеком — вот, что подарит вам инсайт.

Полностью согласен, но есть пара нюансов.
Один из них - качество выборки в контрольную группу. Есть шанс, что на опросе попадутся "хорошие", лояльные покупатели, а "плохие" останутся за бортом. И на деле получится, однобокая информация.

0

Да уж.
Когда A/B-тест на самом деле является гамма/зю-тестом, толку из него не выйдет.

А что вы имеете в виду под гамма/зю?)

0

Прошу прощения, это не к статье буквально, это мысли о своём по теме вырвались. )))

Я о тяжёлом случае, когда как бы сравниваемые варианты не являются в действительности альтернативой друг другу, а лежат в разных областях, и это не позволяет сделать никаких вменяемых аналитических выводов. Сравнение тёплого с мягким, попросту говоря. A/B-тест тогда вырождается в стохастический поиск, что тоже неплохо, но только, когда в этом отдаётся себе отчёт.

0

А вот как раз хороший пример рядышком — обсуждение «Что удобнее — мышь или тачпад» siliconrus.com/2015/04/logitech-quit/
Конечно, в рамках провоцирования бурного обсуждения тут всё ок. Если бы в заголовке стояло «Что для ВАС удобнее», это уже бы снизило накал страстей в комментах, что нежелательно. =)

Но сам буквальный вопрос с точки зрения аналитики, если бы целью была она, это отвал башки. Как минимум, надо уточнить, о каких именно моделях мышей и тачпадов идёт речь и оговорить сравнение для одинаковых сценариев использования, таким образом превратив непонятные гамму и зю в ограниченные A и B. Тогда результат даст почти готовую статистику, а не просто навал мнений.

Это работа моей мечты.

кто мне объяснит, какой смысл в стриптиз клубах?
когда за те же деньги можно снять проститутку, если уж нужно купить женщину.

0

Разница скорее в том, что в стриптиз приходят за эстетикой, а не за удовлетворением похотливой нужды (конечно же, если рассматривать нормальные клубы).
Стриптиз - это бонус к отдыху, пока Вы расслабляетесь за бокалом чего-нибудь, глаз радуется красивому женскому телу и плавным движениям.
А не кто-то, стоя на коленках "кивает", а потом в голове носится мысли разные, чаще не очень хорошие.

0

Такой стриптиз есть в ночных клубах. А если прийти именно в стриптиз-клуб, то танцуют там плохо, и постоянно домогаются на тему "купи приват/выпивку/дай на чай". Просто поглазеть там: 1) не на что 2) не получится.

0

Ну, я признаться не был в вышеуказанных клубах (Virgins и Burlesque), но, как утверждают основатели - у них там высший пилотаж.

>Такой стриптиз есть в ночных клубах.

Конечно, но скорее всего без плавного сбрасывания одежды (И в памяти всплывают кадры из нашумевшего клуба Парк Авеню диско)

0

Дайте нам более быструю лошадь!

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Shtadler Anton

потому что хочется) У каждого свой фан.

Ашот Габрелянов представил приложение Magic для создания индивидуальных стикеров на основе эмоций
0
Дмитрий Каулькин

Язь это ещё норм. Хорошо, что не дратути.

«Вжух»: реакция российских компаний на мем с котом и волшебной палочкой
0
Maga Abdurakhmanov

1. Google Authenticator на часах, очень удобно, что всегда под рукой. За телефоном обычно надо лезть
2. SMS коды, тоже самое что Google Authenticator
3. Нотифаи, настроенные в соответствии с важностью, не надо лезть за телефоном ты сразу видишь, особенно удобно с встречами
4. Не отвлекает людей вокруг звуки твоего телефона (я его всегда на тихом режиме держу теперь)
5. Будильник в часах будит только тебя виброй
6. Если забыл телефон дома и ушел, часы напомнят виброй
7. Управление музыкой, не надо искать телефон, погромче или на паузу поставить
8. Когда едешь на велосипеде, а тебе пишут смс/в телеграм, можно голосом ответить с часов, не доставая телефон
9. Тречит сон и шаги, так-как часы всегда на запястье (7 дней на зарядке)

Есть на рынке другие часы, которые это могут?

От $740 млн до $40 млн за один год
0
Nikolay Kachev
Tredwear

Как будто балтику 9 рекламируют, а не напиток для интеллектуалов. Типа наебенься с нами чувачок

Компания «Альянс» показала на бутылках своего сидра героев знаменитых картин в состоянии опьянения
0
Sp Soul
ITSys

А что вы ожидали увидеть: блаженные лица, с руками к небу. Не думаю, что успешные трейдеры на уолл-стрит подобным могут похвастаться, в отличии от их банковских счетов - реальный экстаз.

Штаб-квартира: Петербургский офис игровой студии Playkot
0
Показать еще