Как улучшить монетизацию сайта и оставить аудиторию довольной. И как в этом поможет Varioqub

В погоне за доходами многие паблишеры изобретают новые способы повышения дохода от рекламных блоков, например увеличивают их размеры, количество и т.д. И в итоге такие сайты всё больше похожи на Москву нулевых 😊 Мы предпочитаем иной подход, который не всегда позволяет зарабатывать больше в моменте, во всяком случае этого не увидеть привычными способами.

Самое ценное, что есть у любого сайта, — его посетители. Чем их больше и чем больше времени они проводят на сайте, тем выше доход его владельца и тем больше у него мотивации добавлять новую полезную информацию. Поэтому необходимо заботиться об удобстве посетителей не меньше, чем о доходах от рекламы.

Мы в Luxup уже 17 лет помогаем паблишерам увеличивать доходы, а также предоставляем полное техническое обеспечение процесса монетизации, в том числе проводим A/B-тестирования.

Помимо собственных возможностей A/B-тестирований, в этом году мы начали активно использовать технологию Яндекса — Varioqub. Она автоматизирует и упрощает то, что мы до этого делали в полуручном режиме: отслеживание пользовательских метрик, сравнение рекламных лейаутов, влияние новых блоков на текущий рекламный макет и общую доходность сайта. В базовой версии эксперименты с Varioqub доступны бесплатно.

Самое важное, что позволяет делать Varioqub, — принимать верные решения о развитии проекта на основе реальных данных с учётом не только доходности, но и пользовательских метрик. Опытом работы с этим продуктом мы и хотим с вами поделиться.

Varioqub анонсировали на конференции «Матемаркетинг» в 2022 году. В тот момент он предназначался для проведения A/B-тестов разных вариантов посадочной страницы или элементов на ней, к примеру кнопки «Заказать». Одно из его преимуществ — работа в связке с Яндекс Метрикой и несложная схема настройки экспериментов.

В середине 2023 года Varioqub доработали для задач по монетизации сайтов. Появилась возможность тестировать разные форматы и размеры блоков РСЯ, попутно учитывая и пользовательские метрики.

Вебмастерам доступно два тарифа. На момент написания статьи базовый тариф бесплатен для всех, а стоимость расширенного начинается от 100 000 рублей в месяц.

Основные различия, которые нам интересны:

Всё остальное, на наш взгляд, не столь интересно. А для экспериментов с РСЯ в большинстве случаев вполне подойдёт и базовый тариф.

Если рассматривать Varioqub как инструмент для повышения доходности сайта, то:

Продукт будет полезен и небольшим издателям, которые всё делают самостоятельно. Стоит учитывать, что если трафика на сайте немного, то достоверно можно «поймать» только крупные изменения. Чем больше данных, тем более мелкие изменения можно оценить. Не стоит забывать и про обучение блока: для этого тоже нужно время и определённое количество показов.

Тестирования и поиск новых гипотез — процесс постоянный. Недостаточно единожды провести тест и закончить на этом. Некоторые уже подтверждённые гипотезы мы перепроверяем в среднем раз в квартал. Ситуация на рынке быстро меняется, и какие-то решения устаревают.

Проиллюстрируем возможности экспериментов с Varioqub на реальных примерах.

1. Тестирование нового рекламного блока внутри статьи (с вариантом без блока)

Новый блок:

Гипотеза:

Настройки эксперимента в Varioqub:

Данные, полученные по итогам эксперимента:

Выводы:

Этот эксперимент не прокрасился, но мы не стали его продлять и завели новый. Это был один из первых наших экспериментов, который завели некорректно. В том числе не совсем полно сформулировали гипотезу. Напишите в комментариях, что сделали неправильно. А ещё — какие варианты настроек такого блока вы бы протестировали.

2. Тестирование запуска Полноэкранного формата с первой страницы и со второй

Вводные данные сайта:

Рекламные блоки для A/B-теста:

Гипотеза:

Настройки эксперимента в Varioqub:

Данные, полученные по итогам эксперимента:

Выводы:

Не факт, что и на вашем сайте будут подобные результаты. К примеру, если базово глубина совсем низкая, показов Полноэкранного блока на второй странице практически не будет.

Всё нужно проверять на практике — как настроить A/B-тестирование с помощью Varioqub, по шагам разберём дальше.

Сама технология Varioqub доступна в Метрике — в разделе «Эксперименты» (1).

Если у вас уже установлен код Varioqub, на главной странице вы увидите кнопку для получения кода Varioqub (2), создания нового эксперимента (3) и список экспериментов (4). Интерфейс максимально простой и интуитивно понятный.

Если эксперименты ещё не настраивались, в интерфейсе появится предложение установить код Varioqub и возможность оценить интерфейс в деморежиме.

Перед любым экспериментом важно чётко сформулировать гипотезу и результат, который вы хотите получить. Это позволит точнее подобрать настройки и выявить слабые стороны ещё до начала эксперимента.

Победа любит подготовку, поэтому первым делом внутри команды мы обсуждаем все возможные варианты:

Если пройтись по всем блокам на сайте, получится список из не одного десятка пунктов.

После этого нужно провести приоритизацию, чтобы понять, какие тесты проводить в первую очередь, а какие и вовсе не стоит.

Приоритизировать можно по нескольким факторам:

Если трафика на сайте немного, не стоит запускать все возможные варианты в рамках одного эксперимента одновременно — поделите тест на этапы. К примеру, для начала запустите эксперимент, чтобы оценить влияние нового блока на поведение аудитории и общую доходность, интуитивно выбрав наилучший вариант его настроек. После этого запустите новый, чтобы сравнить два разных набора настроек.

Без реальных данных ваше предположение лишь догадка. Проверяйте даже самые очевидные вещи.

Создайте рекламные блоки для будущего эксперимента — это может быть как прямое размещение через РСЯ, так и в «обёртке» Adfox. Главное, чтобы все варианты были одинаковыми. Всё-таки блок Adfox прогружается чуть дольше, и, если настроить блоки по-разному, тест будет изначально некорректным.

Для удобства в название блока можно добавить VQ var a, Varioqub B и т. д.

Если вы сравниваете рекламные блоки между собой, для чистоты эксперимента имеет смысл создать два или больше новых блоков. Сопоставлять результаты нового блока с тем, который уже работал какое-то время на сайте, некорректно. Какое-то время блоки будут обучаться, и важно, чтобы изначально они были в равных условиях.

Мы рекомендуем такой подход: создайте новый блок, скопируйте его и просто измените настройки в одном из вариантов.

Чтобы добавить необходимые коды на сайт, начните с указания счётчика Метрики в настройках сайта в РСЯ. Сделать это поможет Справка.

Чтобы статистика по поведению пользователей и эксперименту в целом собиралась корректно, важно, чтобы код Метрики был на всех страницах сайта. Убедитесь, что это так, перед началом тестирования.

После установите код Varioqub на сайт, для этого скопируйте его из раздела «Эксперименты» в Метрике.

Есть три варианта установки кода (1):

Мы рекомендуем первый вариант — поставить код JavaScript (2) напрямую на сайт. Добавьте его в HEAD — чем быстрее отработает код, тем быстрее отобразятся рекламные блоки. Это особенно актуально для ATF-блоков на первом экране. Разницы в том, размещать код перед кодом Метрики или после, нет. Но мы советуем поставить до, чтобы Varioqub запустился первым.

API Usersplit позволяет более гибко настроить логику эксперимента. При этом эксперимент будет отрабатывать на стороне бэкенда, а значит, повлияет на скорость.

Если ваш сайт использует технологию Content Security Policy — CSP (3), необходимо передать браузеру в HTTP-заголовке разрешение на обработку данных. Если нет, этот пункт можно проигнорировать.

После установки кода проверьте корректность его отработки (4) — для этого введите URL страницы с установленным кодом и нажмите «Проверить подключение».

Нажмите «Создать эксперимент» на главной раздела «Эксперименты» и введите его название. По желанию можно добавить описание — пригодится, если тестированиями на сайте занимаются несколько человек, и поможет не забыть суть эксперимента к моменту его окончания.

По умолчанию ограничено только время тестирования. Но вы можете задать его условия с помощью правил. Как это сделать, по шагам рассказано в Справке.

Постарайтесь ограничить эксперимент в настройках таким образом, чтобы он работал только там, где отображается блок. Иначе появится лишний «шум», и результаты могут быть недостоверными.

К примеру, если блок отображается только на определённых категориях, а код Varioqub размещён на всём сайте, нужно отсечь ненужные URL в настройках Страниц применения эксперимента.

Или если вы монетизируете весь трафик с помощью Яндекса, но кроме трафика из России у вас есть и зарубежный, Яндекс будет выкупать его с меньшим Fill Rate. В таком случае лучше ограничить географию и оставить только РФ.

Если вы ставите какие-либо ограничения, не забудьте задать вариант, который будет выводиться по умолчанию, если условия не соответствуют запуску эксперимента.

Ещё один лайфхак: чтобы отсечь роботов и фродовый трафик, в Платформе выберите отдельно десктоп и мобайл, даже если для эксперимента вам нужны все устройства. У роботов девайс обычно не определяется.

В базовой версии доступно девять вариантов метрик. Для наших задач интересны пять из них:

По сути последняя метрика не отличается от обычных отказов и чаще всего будет совпадать с ними. Разница в том, что визуальные отказы в рамках эксперимента начинают засчитываться после того, как отработает и код Метрики, и код Varioqub.

Одной из метрик рекомендуем выбирать рекламный доход на визит или на посетителя — в большинстве случаев большой разницы нет. Но доход на визит — более универсальный вариант.

Выбор пользовательских метрик зависит от формата. К примеру, для более агрессивных форматов (Fullscreen, Floor Ad и т. д.) стоит выбрать отказы и время на сайте. Для менее агрессивных — глубину просмотра и время на сайте.

То, какая из метрик основная, а какие дополнительные, влияет только на порядок расположения в отчёте — основную видно сразу.

Доходы, отображаемые в эксперименте, могут отличаться от данных напрямую из РСЯ, так как в Varioqub отображается заработок до вычетов, к примеру, за фрод. Обычно разница небольшая.

Если вы выбрали метрику «Рекламный доход», неважно, на визит или на посетителя, в рамках эксперимента вы увидите доход не только тестируемого рекламного места, но и в целом общий доход по всем рекламным местам на сайте с разбивкой по вариантам теста. Каждый новый рекламный блок может отвлечь внимание посетителя сайта на себя, из-за чего доходность остальных блоков пострадает. К примеру, вы поставили новый блок и ожидаете, что 100% дохода от него будет вашим новым доходом, но нет. Или заменили обычный блок на блок с суперагрессивным авторефрешем, но не знаете, как это скажется на монетизации в будущем. Этот эффект называется каннибализация. И теперь его можно измерить.

Для любого теста нужны варианты. В эксперименте с Varioqub их может быть 26, включая контрольный. Этого более чем достаточно. В большинстве случаев хватит и двух-трёх.

Настойка вариантов различается в зависимости от типа эксперимента. Так как мы всегда используем флаги в коде, то и рассматривать будем настройку этого типа.

Название варианта (1) может быть любым. Между всеми вариантами пропорционально распределяется Процент трафика (2) всего эксперимента — это значение менять вручную нельзя.

Далее идёт Название флага (3). Чтобы было удобнее и чтобы потом не запутаться, предлагаем в качестве тестового эксперимента вводить везде одно и то же значение, как в Справке, — block.

У каждого флага есть Значение (4) — в качестве тестового эксперимента предлагаем каждому флагу присваивать значение буквы, которое стоит в Названии варианта (1).

С первого взгляда вас могут смутить цифры справа от Названия флага (3) и Значения (4) — это всего лишь количество символов, которое можно использовать в значениях полей.

Кстати, к каждому варианту можно добавить несколько разных флагов — в базовой версии максимум ещё один. За счёт этого можно передавать несколько параметров в одном варианте.

Как подготовить скрипт ротации вариантов для типа «Флаги в коде», в деталях рассказано в Справке — в разделах «Работа в визуальном редакторе» и «Настройка эксперимента с помощью флагов», а также на GitHab — в публикациях про флаги и визуальный редактор.

Перед запуском эксперимента важно убедиться, что всё работает корректно. Для этого в форму проверки эксперимента вставьте URL страницы, на которой размещены все необходимые скрипты, и проверьте корректный рендер каждого из вариантов. По кнопке «Проверить» (напротив любого из вариантов) генерируется ссылка, которая доступна 24 часа, и её можно переслать другому человеку. При каждом нажатии на кнопку генерируется новая ссылка.

Если всё отрабатывает правильно, можно запускать эксперимент.

В интерфейсе отчёта о результатах эксперимента можно выбрать любую из трёх заданных метрик, период и добавить фильтр, чтобы отсечь роботов или визиты с отказами.

В статистике можно увидеть информацию по выбранной метрике. К примеру, если выбран доход на визит — количество визитов, общий рекламный доход за весь период по варианту и доход на один визит. Метрики описаны в Справке.

Вариант А считается эталоном для сравнения, поэтому по ходу эксперимента с ним сравниваются все остальные варианты. В какой-то момент Varioqub прокрасит их зелёным или красным цветом — в зависимости от того, выиграли они или проиграли. Интенсивность цвета имеет три градации и зависит от p-value, пороговые значения — 0,05, 0,01, 0,001 (чем ближе к 0, тем ярче). Цвет может меняться по ходу эксперимента в зависимости от ситуации.

Прокраса может вообще не быть, если изменение не является статистически значимым по сравнению с контрольным вариантом. В этом случае можно попробовать увеличить процент трафика на эксперимент или его длительность. Но и это не всегда помогает. К примеру, в разные дни могут выигрывать разные варианты, и тогда p-value, скорее всего, не опустится ниже 0,05. Но даже без прокрашивания это результат, просто не ярко выраженный. И на его основе тоже можно делать какие-то выводы. Например, что что-то неверно настроили, не учли или накопили недостаточно данных, чтобы отследить изменение.

Если варианты прокрасились раньше, чем завершился эксперимент, не стоит его завершать раньше времени. По ходу обучения блоков РСЯ ситуация может поменяться, и эксперимент прокрасится по-другому.

В некоторых случаях эксперимент стоит остановить до завершения:

Важно определить критерии оценки результата ещё на этапе формулирования гипотезы. Казалось бы, с этим поможет Varioqub и его прокрас, но не всё так просто.

Например, мы определились, что важно учитывать процент отказов, помимо прироста в доходе. При этом нужно сразу установить эти границы: если процент отказов вырастет на 3%, а доход на 10% — достаточная ли это цена за негативные изменения пользовательских метрик? А если доход вырастет на 50%?

Безусловно, если одно из решений сильно увеличило доход, но при этом порушило usability сайта, стоит задуматься, насколько это долгосрочный результат. Скорее всего, недолгосрочный.

Или же, к примеру, мы тестируем влияние установки нового блока на доходность других блоков. По результатам наших экспериментов доходность других блоков при этом может падать, и общий прирост в доходе в таком случае может быть не таким существенным. Конечно, в зависимости от сайта и его аудитории результаты тестов будут различаться. Поэтому важно проводить эксперименты, прежде чем решать, стоит ли нагружать аудиторию дополнительным агрессивным форматом.

Varioqub открывает широкие возможности по проверке различных гипотез. Их может быть очень много, и, проработав каждую, вы сможете найти идеальный вариант рекламного макета. Сфера монетизации быстро меняется. Поэтому после того, как вы переберёте все гипотезы, работа не закончится. Стоит запастись временем и техническими ресурсами и применять полученные знания с умом.