Оптимальный маркетинг = оптимальное развитие бизнеса. Плюсы применения критерия Вальда в туристической сфере и не только

«Маркетинг не помогает развивать бизнес» — этот стереотип довольно прочно засел в головах у некоторых экспертов. В материале ниже мы приведем несколько контраргументов и расскажем о преимуществах использования критерия Вальда для подтверждения маркетинговых гипотез.

Ряд специалистов считают, что рекламные инструменты, в отличие от инструментов продаж, не оказывают существенного влияния на развитие компании и в большей степени выполняют имиджевую функцию. Мы же уверены: хорошая реклама прекрасно стимулирует продажи.

Ключевое слово — хорошая. Возникает вопрос: как сделать качественную рекламу? Такую, чтобы потенциальный клиент обратил внимание на таргетированную рекламу или, скажем, не отправил email-рассылку в спам? Важно понимать бизнес, клиентов и мир, в котором они существуют.

Грамотный маркетолог — это скептик, который всё подвергает сомнению, каким бы тривиальным это «всё» ни казалось.

Предлагаем немного перенестись в прошлое и вспомнить, как в Google выбирали оттенок синего цвета для ссылок-результатов поиска. Сначала команда дизайнеров определилась с цветом, который понравился всем её членам. Но менеджер по продуктам протестировал на пользователях другой, более зелёный оттенок — оказалось, что люди кликали по ссылкам такого цвета несколько чаще. В общей сложности был протестирован 41 (!) оттенок синего цвета, и оказалось, что лучший вариант действительно существует. Причём «лучший» в данном случае означает сотни миллионов долларов дополнительного дохода. Да, этот эффект был суммарным и зависел от множества факторов, но в итоге именно скрупулезное тестирование привело к успеху.

Важен не только цвет, но и расположение кнопок в интерфейсе. Так, Amazon провёл множество экспериментов, чтобы найти лучшее место для кнопки «Купить сейчас» на странице продукта. Получается, что даже небольшие изменения в дизайне и положении кнопки могут приводить к многомиллионным изменениям в доходах.

Особенно сильно этот эффект заметен в социальной сфере. Например, во время президентской кампании 2008 года команда Барака Обамы в ходе небольшого эксперимента выяснила следующее: если рядом с кнопкой «Узнай больше» находится фото кандидата вместе с семьёй, то посетители на 40% чаще оставляют адреса своей электронной почты. А это дополнительные 2,8 миллионов подписчиков и 57 миллионов пожертвований.

Здесь хотелось бы подчеркнуть: данный эффект был значительным в контексте кампании 2008 года, а в текущих реалиях и при других обстоятельствах результаты могут отличаться. Именно по этой причине эксперименты должны проходить постоянно. Нельзя просто взять готовое успешное решение и ждать, что оно приведет к тому же результату. Нужно учитывать контекст, аудиторию и время.

Подобных примеров огромное множество. И все они доказывают, что положительный эффект в маркетинге всегда достигается только после тестирования и экспериментирования. Какая-то идея или решение подвергаются сомнению не просто так, а с помощью метода проверки статистических гипотез.

Гипотезы подтверждаются или опровергаются на основе статистических критериев. Так вышло, что практически весь мир пользуется критерием Неймана-Пирсона — он довольно прост для понимания и использования.

Критерий Неймана-Пирсона — частный случай критерия Вальда. Последний применяют несколько реже, несмотря на то, что по скорости он выигрывает в среднем в два раза.

Критерий Вальда был открыт в 1943 году Абрахамом Вальдом. США тут же его засекретили его — военное время. Но уже после войны критерий Вальда стал золотым стандартом в военной промышленности и военном деле. Даже современные военные радары, по сути, работают по тому же принципу. Потому что гипотеза «свой или чужой» — это тоже гипотеза. И скорость её проверки напрямую влияет на то, собьёте ли вы случайно свой самолёт или успеешь отразить атаку вражеского.

Давайте разберем подробнее каждый критерий/ Как мы уже сказали, эти два статистических метода служат для проверки гипотез, что является основой для принятия решений в маркетинге — например, при A/B-тестах. Основываясь на собранных данных, они помогают определить, какой из двух вариантов (гипотез) предпочтительнее.

Это классический подход к проверке статистических гипотез. Он основан на следующем алгоритме:

1. Задаются нулевая гипотеза (H₀) и альтернативная гипотеза (H₁). Например:

- H₀: «Синий цвет кнопки не увеличивает клики».

- H₁: «Синий цвет кнопки увеличивает клики».

2. Устанавливаются допустимые вероятности ошибок первого и второго рода: α — отклонение верной гипотезы и ꞵ — принятие неверной гипотезы). Обычно выбирают α = 0.05 (5%) и ꞵ = 0.15 (15%). Вообще, значения могут быть другими; они зависят от стоимости ошибок.

3. Определяется объём выборки данных (заранее фиксированный).

4. После сбора данных вычисляется статистика теста, которая сравнивается с критическим значением. Если статистика превышает порог, то гипотеза H₀ отвергается.

Преимущества критерия:

- Простота применения

- Понятный фиксированный процесс: заранее известен объём выборки и вероятность ошибок

Недостатки критерия:

- Для достижения точных результатов требуется собрать весь запланированный объём данных — на это может уйти много времени и ресурсов.

Критерий Вальда — это адаптивный метод, который анализирует данные динамически, по мере их поступления. Основные этапы:

1. Также задаются H₀ и H₁, α и ꞵ, но в данном случае нет необходимости фиксировать объём выборки заранее.

2. Проводится последовательный анализ данных. На каждом этапе на основе текущих данных алгоритм вычисляет вероятность того, что H₀ верна.

3. Если вероятность H₀ становится слишком низкой, гипотеза отклоняется. Если вероятность высока — гипотеза принимается. Если данных пока недостаточно для принятия решения, сбор продолжается.

Преимущества:

- Скорость: часто позволяет завершить тестирование раньше, чем при фиксированном объёме выборки.

- Гибкость: тест может остановиться на любом этапе, если результат становится очевидным.

Недостатки:

- Более сложные расчёты и необходимость специализированного программного обеспечения.

- Требует глубокого понимания статистики, чтобы корректно интерпретировать результаты.

Критерий Неймана-Пирсона в маркетинге часто используется в A/B-тестировании, так как его результаты легко интерпретировать. Например, чтобы протестировать новый дизайн сайта, маркетологи собирают данные в течение фиксированного периода (скажем, две недели) и затем принимают решение на основе заранее заданного уровня значимости.

Критерий Вальда лучше подходит для ситуаций, где важна скорость. Например, в динамичных рекламных кампаниях, где необходимо быстро определить, какая реклама даёт больше конверсий, и перераспределить бюджет. Этот критерий позволяет остановить тест сразу, как только станет понятно, что один вариант значительно лучше другого.

Можно сделать следующий вывод: если у вас есть ресурсы и время, критерий Неймана-Пирсона будет надёжным и привычным выбором. Если скорость критична, а объём данных ограничен, критерий Вальда обеспечит экономию времени и необходимый уровень флексибильности. Он особенно полезен, если нужно принять решение максимально оперативно.

Несколько лет назад мы задались вопросом: возможно ли целиком и полностью перейти на критерий Вальда? Оказалось, что это реально. Это важный и серьезный шаг, потому что успех бизнеса во многом зависит от количества гипотез, которые он способен генерировать и проверять. Критерий Вальда умножает это количество в два раза. С другой стороны, критерий Вальда требует большего понимания статистики и более сложных вычислений.

На наш взгляд, для сферы путешествий предпочтителен именно критерий Вальда — в данной индустрии необходимо быть гибкими и быстро принимать решения. С чем связана эта необходимость? Перечислим несколько факторов:

1. Динамичность рынка. Цены на авиабилеты, отели и туры меняются практически в режиме реального времени. Чтобы оставаться конкурентоспособными, компании в сфере путешествий должны оперативно тестировать гипотезы. Например, как скидка на 5% или изменение дизайна кнопки бронирования влияет на конверсии. Критерий Вальда позволяет быстрее завершить тестирование — как только данные покажут явный результат.

2. Ограниченные окна возможностей. В путешествиях многое привязано ко времени: рекламные кампании для отпускного сезона, раннее бронирование или горящие предложения. Если долго ждать результатов тестирования, можно упустить клиентов. Критерий Вальда помогает избегать этих задержек.

3. Высокая стоимость ошибок. В этой индустрии каждая ошибка может обойтись слишком дорого — неверно рассчитанная скидка или неэффективная реклама легко съедят прибыль. Используя критерий Вальда, можно быстрее остановить провальные эксперименты и минимизировать потери.

4. Множество параллельных тестов. Компании из сферы путешествий одновременно тестируют множество гипотез: разные цены, изображения, описания туров, варианты интерфейса бронирования. Критерий Вальда позволяет оперативно завершать менее значимые тесты и сосредотачиваться на более важных.

5. Быстрая адаптация к поведению пользователей. Поведение путешественников меняется в зависимости от времени суток, дня недели или текущих событий — таких как пандемия или экономические кризисы. С критерием Вальда можно быстрее реагировать на эти изменения и оперативно корректировать стратегию.

Всё это делает критерий Вальда особенно полезным для туристической индустрии, где скорость и точность принятия решений могут оказать существенное влияние на прибыль.