Как мы оценили эффективность PBN другого подрядчика: честный разбор без «успешного успеха»

Однажды к нам пришли с задачей оценить эффективность PBN, которые для крупного сайта размещал другой подрядчик. Заказчика интересовал конкретный бизнес-показатель — MAU, количество уникальных пользователей сайта за месяц. Нужно было понять, дают ли страницы со ссылками с PBN дополнительный рост аудитории.

На первый взгляд задача простая: сравнить страницы с PBN и без них и посмотреть, где MAU растет быстрее. На практике все оказалось сложнее.

Сама по-себе PBN-сеть не должна приводить пользователей на сайт напрямую. Ее задача — усилить ссылочный профиль страницы. Это может повлиять на ее позиции в Google, а более высокие позиции уже привести к росту органического трафика и MAU, то есть влияние тут косвенное.

Упрощенно логика выглядит так:

PBN → ссылочный сигнал → позиции в Google → органический трафик → MAU.

Поэтому вопрос был не в том, есть ли переходы с PBN-сайтов, а в том, можно ли увидеть дополнительный эффект PBN в итоговом трафике.

PBN уже размещались в рамках текущих SEO-работ, а задача оценить их эффект появилась позже. Это существенно меняет возможности анализа.

В идеальном эксперименте заранее формируются сопоставимые тестовая и контрольная группы. Они отличаются одним фактором: например, одна получает PBN, а другая — нет.

Здесь группы создавались не для аналитического эксперимента.

На всех страницах с PBN одновременно использовался и другой тип ссылочного продвижения, поэтому в данных фактически были две группы:

Чистой группы «только PBN» не было.

Значит, мы могли оценивать не чистый эффект PBN, а только добавочный PBN-эффект поверх уже существующей работы по ссылочному продвижению.

Еще одна проблема проявилась, когда мы посмотрели на MAU.

Страницы с PBN изначально отличались от контрольных страниц по уровню аудитории. Поэтому просто сравнить их MAU после размещений было бы неправильно.

Если одна группа уже на старте состоит из более трафиковых страниц, она и дальше может показывать более высокий MAU независимо от PBN.

Поэтому мы сравнивали не абсолютные значения, а динамику групп: становится ли группа Guest + PBN со временем заметно лучше группы Guest.

В качестве контроля использовали страницы с базовым ссылочным продвижением, но без PBN.

Главным показателем оставался MAU, но мы не ограничивались только им.

Если PBN действительно влияет на аудиторию через улучшение ранжирования в Google, где-то по пути должен появиться поисковый сигнал. Поэтому дополнительно анализировали позиции, поисковую видимость и данные Google Search Console.

Так мы могли проверить всю цепочку: меняется ли поисковая представленность страниц и отражается ли это затем на трафике.

На доступных данных мы не смогли статистически подтвердить дополнительный рост MAU у страниц с PBN относительно контрольной группы. Да, такое бывает. Но здесь важна точная формулировка.

Это не значит, что мы получили доказательство того, что PBN не работают вообще. Мы получили другой результат: в имеющихся данных не удалось достаточно уверенно выделить дополнительный эффект PBN поверх базового ссылочного продвижения.

И это разные утверждения.

У исследования были серьезные ограничения. Эксперимент не планировался заранее, группы изначально различались, отдельной группы «только PBN» не существовало.

Кроме того, SEO-эффект может проявляться с задержкой. Между размещением ссылки, переоценкой страницы Google, изменением позиций и ростом трафика проходит время.

Сама PBN тоже поднималась и ссылки размещались постепенно, а не в один момент (что является нормальной практикой).

Мы честно передали наши выводы заказчику.

После нашего исследования заказчик передал его подрядчику, который выполнял работы с PBN.

У подрядчика был собственный подход к оценке эффективности, и его выводы оказались более позитивными.

Для заказчика такая ситуация вполне естественно выглядит запутанной: одни и те же работы, два анализа и разные результаты. Первое желание в такой ситуации: понять, кто не прав.

Но при разборе стало видно, что проблема была не только и не столько в расчетах. Два исследования по-разному определяли сам эффект и фактически отвечали на разные вопросы.

Подрядчик использовал модельный подход. Упрощенно логика была такой: изменились позиции → изменился ожидаемый CTR → изменилось расчетное число кликов → изменилось ожидаемое число пользователей.

То есть если запрос стал занимать более высокую позицию, можно оценить, насколько больше кликов обычно получает такая позиция, и затем пересчитать этот прирост в потенциальный трафик и пользователей.

Такой подход отвечает на вопрос: «Какой потенциальный эффект можно связать с улучшением поисковых позиций?».

Полученный результат при этом остается расчетной оценкой. Он зависит от того, какие значения CTR и другие коэффициенты используются в модели.

Наш подход был другим. Мы спрашивали: «Видим ли мы этот дополнительный эффект в фактической динамике страниц относительно контрольной группы?».

То есть мы не рассчитывали, сколько трафика теоретически могли дать новые позиции, а проверяли, стала ли группа с PBN действительно двигаться лучше сопоставимой группы без них.

Отсюда и разные выводы. Подрядчик оценивал потенциальный эффект через модель. Мы искали наблюдаемый дополнительный эффект в фактических данных.

Это, наверное, самая важная часть всей истории. Модель может показывать, что улучшение позиций должно было дать дополнительный трафик. Одновременно анализ реальных данных может не находить достаточно убедительной разницы между тестовой и контрольной группами. Эти выводы не обязательно исключают друг друга.

В первом случае мы говорим:

«При таких изменениях позиций модель оценивает потенциальный прирост примерно так».

Во втором:

«В фактической динамике страниц мы не можем достаточно уверенно выделить этот прирост относительно контроля».

Это просто разные способы смотреть на результат.

Модельный подход помогает оценить потенциальный масштаб эффекта, особенно если чистого эксперимента провести уже нельзя.

Сравнение с контрольной группой позволяет проверить, проявился ли эффект в реальных данных, но сильно зависит от качества исходного дизайна эксперимента. Поэтому заказчику важно понимать не только итоговую цифру исследования, но и что именно она означает и каким способом была получена.

Для надежной оценки эффекта PBN эксперимент нужно заложить до начала работ.

Сначала формируют сопоставимые группы страниц с близкими исходными характеристиками. Затем заранее определяют, чем именно группы будут отличаться: например, контроль получает базовое ссылочное продвижение, а тест — то же продвижение плюс PBN. Альтернативный вариант — исключить дополнительное ссылочное воздействие в обеих группах и тестировать только PBN.

До запуска фиксируют исходные значения метрик, основной показатель успеха, достаточную длительность наблюдения и минимальный размер выборки, необходимый для получения статистически значимого результата.

После этого эффект оценивают как разницу в изменении показателей тестовой и контрольной групп, а не как простое сравнение их абсолютных значений.

Такую схему мы можем выстраивать заранее: помогать с дизайном эксперимента, подбором групп, метрик, периода наблюдения и требований к объему выборки.

Сам MAU посчитать несложно. Основная работа начинается дальше. Нужно понять, какие группы вообще можно сравнивать, насколько они сопоставимы, какое воздействие происходило одновременно с PBN и каким образом оно теоретически должно проявиться в данных. Затем необходимо подобрать подход к оценке и честно обозначить его ограничения.

А если появляется альтернативный анализ, задача не сводится к спору о том, чьи цифры правильнее. Сначала нужно понять, одинаковый ли вопрос вообще задавали два исследования. И в этом кейсе как раз оказалось, что нет.

Именно поэтому работа аналитического отдела в таких задачах — не просто получить число. Она нужна, чтобы понять, что это число на самом деле доказывает, а что — нет.

Автор: Анна Чечкова, руководитель отдела аналитики в Ant-Team.ru.

У нас есть телеграм-канал с полезными материалами по SEO и отдельный канал про PBN. Подписывайтесь, там много ценного!