Почему нельзя судить РСЯ по первым дням: как не выключить рабочую рекламу раньше времени

Почему первые дни РСЯ не показывают реальную эффективность рекламы? Разбираем обучение алгоритмов, статистическую погрешность, CTR, стоимость конверсии, площадки и ошибки директологов, которые отключают рабочие кампании слишком рано.

РСЯ часто оценивают слишком быстро. Запустили кампанию утром, вечером посмотрели статистику, увидели дорогой клик и отсутствие заявок - и уже появляется желание все переделать. На следующий день ситуация немного меняется, но решение принято: «РСЯ не работает».

Проблема в том, что первые дни рекламной кампании - это еще не готовый результат, а небольшой фрагмент данных. По нескольким кликам и одной случайной конверсии невозможно надежно определить, какой будет реальная стоимость заявки, какая аудитория окажется наиболее качественной и какие площадки действительно дают бизнесу продажи.

Яндекс прямо указывает, что при анализе эффективности необходимо учитывать достаточное количество данных и статистическую погрешность. Если в срезе всего одна-две конверсии, их стоимость может сильно отличаться от значения, которое получится после накопления большего объема статистики.

Поэтому главный вопрос после запуска РСЯ должен звучать не «работает или не работает?», а «достаточно ли уже данных, чтобы принимать решение?»

У РСЯ есть особенность, которую часто недооценивают: система работает не по принципу «один раз показали объявление - сразу получили окончательный ответ о качестве аудитории».

Автоматические стратегии Директа используют математические алгоритмы, которые прогнозируют вероятность клика и целевого действия. При построении прогноза система анализирует накопленную статистику, поведение пользователей и другие доступные данные; если собственной статистики недостаточно, используются дополнительные источники информации и данные по аналогиям.

Поэтому первые дни могут выглядеть совершенно не так, как кампания будет выглядеть через несколько недель.

Сегодня система получила условно 20 кликов и ни одной заявки. Завтра пришло еще 30 кликов и две заявки. Через несколько дней появляется еще несколько конверсий, меняется структура трафика, а отдельные площадки начинают получать меньше или больше показов.

Если оценивать кампанию после первых 20–30 кликов, можно принять случайное колебание за закономерность.

Допустим, вы потратили 5 000 ₽ и получили одну заявку.

Формально CPA равен 5 000 ₽. Можно посмотреть на цифру и сказать: «РСЯ дорогая, отключаем».

Но что произойдет, если следующая заявка придет после еще 1 000 ₽ расходов? Средняя стоимость уже станет 3 000 ₽. Если затем придут еще четыре заявки, показатель упадет еще сильнее.

Первая цифра не была ложной. Она просто была рассчитана на слишком маленьком объеме данных.

Именно поэтому Яндекс отдельно предупреждает о статистической погрешности. Например, при 25 конверсиях относительное отклонение оценки конверсии может составлять около ±20%, а для более высокой точности требуется значительно больше данных. При этом для уменьшения погрешности в два раза нужно примерно в четыре раза больше конверсий.

Это важный принцип не только для РСЯ, но и для любой performance-рекламы: чем меньше данных, тем осторожнее нужно делать выводы.

Представим условную кампанию:

Расход - 6 000 ₽.Клики - 120.Конверсии - 1.CPA - 6 000 ₽.

На первый взгляд результат выглядит плохо.

Но если завтра при расходе еще 2 000 ₽ кампания получает три заявки, общая статистика становится совсем другой: 8 000 ₽ расходов и 4 конверсии, то есть CPA уже 2 000 ₽.

Еще один день - еще две заявки. Средняя стоимость падает дальше.

Поэтому оценивать первые дни только по CPA особенно опасно. Стоимость конверсии - это производная от количества конверсий, а когда конверсий очень мало, показатель может прыгать практически после каждого нового целевого действия.

Когда заявок мало, директолог иногда переключается на CTR.

«Заявок пока нет, но CTR хороший - значит, все нормально».

Или наоборот:

«CTR низкий - значит, объявления плохие».

Оба вывода могут оказаться преждевременными.

Высокий CTR показывает, что объявление получает клики, но сам по себе не говорит, сколько денег эти клики принесут бизнесу. Яндекс в своих рекомендациях по оценке эффективности также предлагает смотреть дальше количества посетителей и учитывать конверсии, клиентов, доход и прибыль.

Можно получить прекрасный CTR и плохие продажи. Можно получить не самый впечатляющий CTR и при этом нормальную экономику, если пришедшие пользователи хорошо конвертируются в целевые действия.

Поэтому РСЯ нельзя оценивать по одному показателю.

«Но ведь уже потрачены деньги» - и здесь начинается самое интересное

Это один из самых сложных моментов для директолога.

Клиент видит расход, например 10 000 ₽, и спрашивает: «Где результат?»

Вопрос абсолютно нормальный. Бюджет действительно должен контролироваться, а запуск рекламы не означает, что можно бесконечно тратить деньги без анализа.

Но контроль расходов и окончательная оценка эффективности - это разные вещи.

Первые дни нужны не для того, чтобы закрыть глаза на статистику, а для того, чтобы наблюдать, находить проблемы и проверять гипотезы.

Если уже на старте видно, что реклама ведет на неправильную страницу, идут нерелевантные запросы, сломана цель Метрики, объявление обещает одно, а сайт показывает другое или стоимость клика совершенно не соответствует экономике проекта - ждать месяц действительно не нужно.

Но если технически все работает, трафик релевантный, данные еще малы и кампания просто не успела накопить статистику, выключать ее только из-за нескольких первых дней - другая крайность.

Фраза «не трогать РСЯ первые дни» тоже является опасным упрощением.

Нельзя превращать накопление статистики в оправдание любых проблем. Если кампания с самого начала показывает очевидные ошибки, их нужно исправлять независимо от возраста кампании.

Например, стоит реагировать, если:

В таких случаях аргумент «давайте еще подождем» ничего не решает.

Яндекс также рекомендует при анализе эффективности проверять настройки, Метрику, условия показов и качество трафика, а не просто наблюдать за расходом.

Вместо вопроса «сколько стоит заявка?» полезнее разделить контроль на несколько уровней.

Сначала смотрим, работает ли сама система. Есть ли показы, клики, корректно ли передаются данные, нет ли очевидных технических ошибок, соответствует ли трафик тематике.

Затем смотрим, как ведут себя пользователи. Они изучают сайт или сразу уходят? Посещают несколько страниц? Доходят до нужных действий? Возникают ли микро- и макроконверсии?

И только потом начинаем делать более серьезные выводы о стоимости привлечения клиента и прибыльности.

В Директе для этого можно использовать данные Метрики, цели, конверсии, а при наличии корректно переданной ценности - доход и прибыль.

Получается своеобразная лестница:

Показы → клики → поведение → конверсии → продажи → доход → прибыль.

Чем дальше вправо, тем больше данных обычно требуется для уверенного вывода.

Представим новую кампанию в РСЯ для услуги с достаточно узкой аудиторией.

В первые дни система получает относительно небольшой объем информации о том, какие пользователи с большей вероятностью совершат целевое действие. Трафик может быть неоднородным, а отдельные конверсии - случайными.

Через некоторое время накопленные данные становятся полезнее для прогнозирования. Яндекс указывает, что автоматические стратегии используют статистику по показам и поведению пользователей, причем новые данные имеют больший вес, чем старые.

Это не означает, что любая кампания обязательно «сама обучится» и станет прибыльной. Это означает другое: первые наблюдения не всегда равны стабильной картине работы алгоритма.

Именно поэтому нельзя путать фразу «кампании нужно дать время» с фразой «ничего не нужно анализировать».

РСЯ может сначала дать дорогой трафик, а потом изменить структуру

Еще одна причина не торопиться с выводами - распределение трафика.

На старте вы можете увидеть большое количество кликов с определенного типа площадок или сегментов. Через некоторое время структура может измениться.

Особенно важно смотреть не на одну строку «РСЯ», а глубже: по кампаниям, объявлениям, сегментам, целям и другим доступным срезам. При этом Яндекс отдельно обращает внимание на статистическую значимость и не рекомендует делать выводы по слишком маленьким выборкам.

Но здесь есть важный нюанс: не нужно вручную панически отключать каждую площадку, которая получила несколько кликов без конверсии.

Несколько кликов без заявки еще не делают площадку плохой. Для объективной оценки нужно накопить достаточное количество данных или использовать автоматические стратегии, которые учитывают прогноз конверсии.

В актуальных рекомендациях Яндекс прямо отмечает, что при использовании автоматической стратегии система может учитывать вероятность конверсии трафика с площадки и корректировать стоимость кликов в зависимости от этого прогноза.

В одном из проектов мы запускали РСЯ для продвижения концертного мероприятия. В первые дни статистика выглядела неубедительно: трафик шел, но количество конверсий было небольшим, а стоимость целевого действия заметно колебалась от дня к дню.

Если смотреть только первые несколько дней, легко было сделать вывод, что кампания работает нестабильно и бюджет лучше перенести на другие направления.

Но вместо резкого отключения мы разделили анализ на несколько уровней: посмотрели динамику расхода, кликов, конверсий, объявления, аудитории и фактическую стоимость целевого действия. Одновременно проверили, корректно ли фиксируются конверсии и соответствует ли трафик задаче кампании.

По мере накопления статистики картина стала значительно понятнее. Отдельные дни действительно выглядели слабо, но на более длинном отрезке стало видно, какие настройки и объявления дают результат стабильнее, а какие гипотезы не подтверждаются.

В результате решения принимались уже не по принципу «вчера CPA был высокий - отключаем», а на основании накопленной статистики. Часть неэффективных решений была убрана, бюджет перераспределен, а работающие направления получили возможность собрать больший объем данных.

Главный вывод из этого кейса оказался простым: если бы кампанию отключили в первые дни, мы бы анализировали не результат, а случайный фрагмент результата.

Но сколько тогда ждать - 3 дня, 7 дней или 14?

Универсального числа дней, после которого РСЯ внезапно становится «понятной», нет.

Это зависит от объема трафика, бюджета, стоимости клика, длины цикла сделки, количества конверсий и выбранной цели. Для интернет-магазина с большим количеством заказов статистика может накапливаться намного быстрее, чем для дорогой услуги, где одна заявка появляется раз в несколько дней.

Поэтому правильнее ориентироваться не на календарь, а на объем данных.

Если за три дня вы получили сотни релевантных кликов и десятки целевых действий, у вас уже гораздо больше информации для анализа, чем у другой кампании, которая за две недели получила 30 кликов и одну заявку.

И наоборот: две недели сами по себе не превращают маленькую выборку в статистически надежную.

Есть и противоположная проблема.

Иногда директолог понимает, что данных мало, но вместо анализа просто каждый день смотрит статистику и переносит решение:

«Давайте еще день».

На следующий день:

«Еще день».

Потом:

«Нужно дать алгоритму обучиться».

Так можно потратить весь бюджет и в конце получить тот же вопрос: «А почему мы вообще столько ждали?»

Поэтому ожидание должно быть управляемым. Нужно заранее определить, какие данные собираем, что считаем нормальным сигналом, какие условия считаем проблемой и при каком объеме информации принимаем решение.

Это уже не пассивное ожидание, а нормальный эксперимент.

Не меняйте сразу все

Еще одна типичная ошибка - попытка ускорить получение результата одновременным изменением всех параметров.

Поменяли объявления. Потом стратегию. Затем цели. Потом аудитории. После этого поменяли посадочную страницу и еще раз переделали креативы.

Через неделю результат изменился - но никто не знает почему.

Если цель - понять, что действительно повлияло на результат, изменения должны быть контролируемыми. Иначе вместо оптимизации получается постоянная перезагрузка кампании.

Яндекс также рекомендует использовать эксперименты и сравнивать варианты, чтобы понимать влияние конкретных изменений.

Есть несколько решений, которые особенно часто принимаются под влиянием маленькой выборки.

Первое - полностью отключать РСЯ из-за отсутствия нескольких первых заявок. Второе - судить о качестве кампании по одному дорогому клику или одной дорогой конверсии. Третье - вручную отключать площадки после нескольких кликов без результата.

Четвертое - постоянно менять стратегию, пытаясь «ускорить обучение». Пятое - делать вывод о качестве рекламы только по CTR.

И шестое - сравнивать два дня между собой так, будто каждый день является отдельным полноценным экспериментом.

Реклама так не работает. Чем меньше данных, тем больше случайности внутри конкретного периода.

Первые дни нужны прежде всего для диагностики.

Нужно убедиться, что кампания технически исправна, трафик соответствует задаче, цели фиксируются корректно, сайт работает, объявления соответствуют предложению, а расход не выходит за допустимые рамки.

Затем начинается этап наблюдения. Здесь уже важно понять, какие сигналы появляются в данных: какие объявления получают клики, какие пользователи взаимодействуют с сайтом, какие действия совершаются, где появляются первые конверсии.

И только после накопления достаточного объема данных начинается полноценная оценка эффективности.

Получается три разных вопроса:

1. Кампания работает технически?

2. Появляются ли положительные сигналы?

3. Достаточно ли данных, чтобы принимать финансовое решение?

Не нужно смешивать эти три вопроса.

РСЯ не обязана быть идеальной с первого дня

От новой кампании нельзя требовать того же уровня предсказуемости, что и от кампании, которая работает месяцами и накопила большой объем статистики.

Но это не значит, что новая кампания должна получать бесконтрольный бюджет. У нее должны быть ограничения, контроль и понятные критерии остановки.

Главное - не требовать от первых нескольких дней ответа на вопрос, на который статистика еще физически не способна ответить.

Если данных мало, правильный вывод звучит не «РСЯ плохая» и не «РСЯ хорошая». Правильный вывод может быть намного проще:

«Пока недостаточно данных для надежного вывода, но вот что уже можно проверить и улучшить».

Плохой подход - увидеть плохой показатель и сразу испугаться.

Еще хуже - увидеть плохой показатель и сделать вид, что его нет.

Профессиональный подход находится между этими крайностями. Директолог должен понимать, какие проблемы требуют немедленного вмешательства, а какие показатели пока могут сильно измениться из-за недостатка данных.

В актуальных рекомендациях Яндекс прямо подчеркивает необходимость анализировать статистику регулярно, но при принятии решений учитывать достаточность данных и статистическую погрешность.

Именно поэтому работа с РСЯ - это не соревнование «кто быстрее отключит неэффективное объявление». Это процесс, в котором сначала собираются данные, затем формируются гипотезы, после чего изменения проверяются на достаточном объеме статистики.

Первые дни РСЯ показывают, что происходит сейчас. Они не обязательно показывают, что будет происходить после накопления достаточной статистики.

Высокий CPA в первые дни еще не доказывает, что кампания неэффективна. Низкий CPA тоже не доказывает обратное. Один день с хорошим результатом может оказаться случайностью, как и один плохой день.

Поэтому оценивать РСЯ нужно не по принципу «сколько стоит заявка сегодня», а через последовательность: качество трафика → поведение пользователей → конверсии → продажи → доход → прибыль.

И самое главное - не путать отсутствие достаточной статистики с отсутствием результата. Первые дни нужно использовать для контроля и диагностики, а серьезные финансовые выводы делать тогда, когда данных действительно достаточно для такого вывода.