A/B-тесты и примеры реализации в рассылках
1) Что такое А/В тестирование
"А/В-тест — мощный инструмент, который помогает подстраивать рекламную кампанию под предпочтения аудитории. Иногда результаты теста даже удивляют: например, было выяснено, что текстовое письмо продаёт лучше, а письма без цен дают больше переходов.
2) История возникновения
"Эта современная концепция на самом деле восходит к совершенно другой и нецифровой эпохе, и ей почти 300 лет. Истоки A / B-тестирования восходят к «Трактату о цинге» Джеймса Линда 1753 года. Цинга была главной причиной болезней и смертей моряков в 18 веке. Клинические испытания Джеймса Линда показали, что цитрусовые полезны против цинги, в то время как другие лекарства не оказывали большого эффекта. К сожалению, Королевскому флоту понадобилось 40 лет, чтобы выдать соки из цитрусовых морякам.
Хорошо спланированные клинические испытания Джеймса Линда предоставили дополнения к идентичной диете 6 пар мужчин с симптомами цинги. Шесть пар содержались в одном лазарете и получали одинаковый уход. 4 пары не показали никаких улучшений, в то время как пара, получавшая литр сидра каждый день, немного улучшилась. Однако два моряка, которым ежедневно давали 1 лимон и 2 апельсина, удивительно поправились.
Сегодня мы знаем, что цинга вызвана нехваткой витамина С. Вот почему цитрусовые с их высоким содержанием витамина С эффективны при профилактике и лечении цинги.
Подобно поискам Джеймсом Линдом 18 века причины цинги и средств от нее, A / B-тестирование - это контролируемый эксперимент. Вы настраиваете два идентичных сценария, за исключением одной функции. Это позволяет вам проверить, какой из двух вариантов лучше всего привлекает внимание вашей аудитории, побуждает ее к действию и, в конечном итоге, превращает взгляды в $$$ для вашей прибыли.
3) Как это делается?
"На этапе подготовки к А/Б тестированию необходимо, в первую очередь, обозначается цель которую необходимо достичь в ходе тестирования. Определяется основной показатель по которому оценивается результат, и описывается гипотеза о том что должно произойти при условии внесения каких-либо изменений. После проводится анализ полученного результата с точки зрения той исходной гипотезы.
Тестирование представляет собой сравнение реакции, двух максимально схожих между собой групп, в нашем случае людей), на контакт с ними, при условии что при взамидействии с одной из групп вы что-то делаете по-другому,
По этому, во вторых проводится группировка подопытной аудитории. В ходе выборки определяется контрольная группа "А",- так же именуемая независимой переменной. И группа "Б",- претендент, еще ее называют зависимая переменная. Группой "А", как правило выступает вариант без внесенных изменений.
Важным моментом является понять насколько достоверным должны быть результаты, для того чтобы подтвердить победу одного варианта над другим. Важной частью сплит-тестирования является статистическая достоверность. Высота процента статистической достоверности, влияет на то насколько вы можете быть уверены в результатах.
Проведение сразу нескольких тестов будет искажать результаты, и поэтому несколько тестов одновременно не запускается, при этом оба варианта одного теста, тестируются в одно и то же время. Это делается для того, чтобы на поведение фокус групп оказывало влияние минимум посторонних факторов, хотя бы таких как время суток, день недели или сезон.
4) Области применения?
"Маркетологи часто застревают или у них заканчиваются свежие идеи для сплит-тестирования электронной почты, что делает его повторяющимся. Исследования Econsultancy показывают, что существует лишь несколько сплит-тестов электронной почты, которые часто проводятся маркетологам, что очень жаль, ведь есть еще много всего, что нужно исследовать."
Для того чтобы оценить какие возможности открывает для Вас ""А/Б тестирование"" предлагаю ознакомиться с оригиналом статьи Jordie van Rijn - 150+ A/B email split testing ideas you can use today.
Ссылка на статью: https://www.emailmonday.com/150-ab-email-split-test-ideas-examples/"
5) Примеры использования.
"Команда Google не могла выбрать между двумя синими цветами, поэтому они протестировали 41 оттенок между каждым синим, показывая каждый оттенок 1% пользователей, чтобы увидеть, какой из них работает лучше.
Известно, что Google протестировал 41 оттенок синего, чтобы решить, какой цвет использовать для рекламных ссылок в Gmail. Компания показала каждый оттенок синего 1% пользователей. Слегка пурпурный оттенок синего увеличивает вероятность того, что пользователи будут нажимать на рекламируемые ссылки, что дает Google ощутимый прирост доходов от рекламы на 200 миллионов долларов.
Статья подготовлена для ProductUniversity
Источник 1: Статья Николая Крамер Якобсена (Nicolai Kramer Jakobsen), со ссылкой на "A Treatise of the Scurvy, Original Text"(
https://www.linkedin.com/pulse/origin-ab-testing-nicolai-kramer-jakobsen
Источник 2: Статья Виктории Грибенко
https://www.unisender.com/ru/blog/sovety/13-sovetov-ob-effektivnyh-a-v-testah
Источник 3: Статься Lindsay Kolowich Cox https://blog.hubspot.com/marketing/how-to-do-a-b-testing