7% и 37% открытий на одинаковых показах: Как тестировать статьи в СМИ и не обмануться

Статья в РБК по официальному прайсу стоит 600 000 ₽, редакционный выход через агентство — 50 000–200 000 ₽. После первой же публикации бизнес выносит приговор: работает или не работает. Это вывод по одному наблюдению, и в маркетинге он самый дорогой из всех. Разбираю принципы честного теста и то, как они переносятся на публикации, где классический A/B невозможен: что можно менять, сколько нужно материалов и почему «на прошлой неделе зашло лучше» — не результат.

Фраза, которая закрывает канал на годы, звучит буднично: «Мы пробовали публикации, не сработало».

За ней почти всегда стоит одна статья. Иногда две, вышедшие на разных площадках с разными заголовками и разными темами. По этим данным принимается решение о канале, в котором конкуренты работают годами.

В перформансе так решать давно разучились: там есть слово «тест» и правила, при нарушении которых цифры ничего не значат. В публикациях этих правил не знает почти никто — а они переносятся почти без потерь.

Контроль и вариант должны жить в одно и то же время на одном и том же трафике. Иначе вы измеряете не свою гипотезу, а сезон, день недели и то, что происходило в ленте.

«В июле статья зашла, в августе такая же провалилась, значит формат выдохся» — это не тест. Это статистическая динамика. В июле у площадки был другой поток материалов, другая новостная повестка и другая конкуренция за внимание в тот конкретный день.

Честный вывод из такой пары наблюдений ровно один: у вас есть два числа. Гипотезы они не подтверждают и не опровергают.

В вебе стандарт теста — около десяти тысяч уникальных посетителей, по пять тысяч на группу. Чем меньше эффект вы ловите, тем больше нужно людей: разницу в 20% видно на небольшом трафике, разницу в 3% — только на большом.

У публикаций такого объёма нет и не будет. Значит, честный перенос выглядит так: вы не можете доказать разницу в несколько процентов и не должны пытаться. Вы можете увидеть только крупные эффекты — двукратные и больше.

Отсюда практическое следствие. Пять-семь материалов в одном формате — это минимальная серия, на которой видно хоть что-то. Одна статья не говорит ни о площадке, ни о канале, ни о жанре. Она говорит только о самой себе.

Как это выглядит на практике. Вы решаете проверить, что лучше работает в заголовке — цифра или возражение рынка. Берёте не два материала, а шесть: три с цифрой, три с возражением, все на одной площадке, в одной рубрике, с сопоставимыми темами. Смотрите не на лучший результат в каждой тройке, а на худший: случайный успех бывает у любого варианта, а вот стабильно слабое дно — это уже свойство подхода.

Если разрыв между группами меньше чем в полтора раза, вывода нет. Это не повод расстраиваться, это нормальный результат теста: переменная оказалась слабой, идём проверять следующую.

Самое нарушаемое правило в тестировании — длительность. Минимум две недели, даже если разница видна на третий день, потому что нужно захватить два полных недельных цикла: в будни и в выходные люди читают по-разному.

В публикациях этот срок другой, но ловушка та же. Материал на деловой площадке получает основной поток в первые сутки, а потом переходит на поисковый трафик, который набирается месяцами. Оценка на второй день говорит вам только про ленту.

У меня есть материал, который в первые дни выглядел средне, а сейчас держит 626 открытий — больше всех остальных, потому что попал в поисковый спрос. Если бы я закрыл тему по итогам первой недели, я бы вычеркнул самый живучий формат из всех, что пробовал.

В вебе это звучит как «один путь пользователя — один тест»: если человек одновременно попадает в два эксперимента, вы не знаете, что сработало.

В публикациях это нарушают всегда. Меняют одновременно площадку, тему, заголовок, обложку и жанр — а потом делают вывод про площадку. Данных для такого вывода нет, и уже не будет.

Дисциплина простая: следующая статья отличается от предыдущей одним элементом. Тот же формат и тема, но другой тип заголовка. Или тот же заголовок по конструкции, но другая площадка. Скучно, зато через пять материалов вы знаете, что у вас работает, а не догадываетесь.

Прежде чем что-то менять по одному, стоит договориться, из чего материал состоит. Переменных немного, и они очень разные по силе.

Заголовок — самая сильная и самая дешёвая. Это единственное, что видит человек до клика, и единственное, что можно переписать за пять минут. Типов заголовка ограниченное число: цифра в начале, конфликт или возражение рынка, прямой вопрос, обещание метода. Их и стоит перебирать.

Первый абзац. Он решает, останется ли человек после клика. Здесь проверяется одна вещь: подтверждает ли абзац обещание заголовка или начинает издалека, с истории компании и рынка.

Обложка. Влияет слабее заголовка, но заметно, и проверяется только в миниатюре.

Тема и жанр — самая тяжёлая переменная. Разбор, инструкция, исследование, разбор чужой ошибки читаются по-разному, но чтобы это увидеть, нужна серия, а не одна пара материалов.

Площадка. Формально переменная, практически — отдельный эксперимент: у каждой площадки своя аудитория, свои правила ленты и свой поисковый вес.

Порядок перебора логичный: сначала то, что дёшево менять и что сильно влияет, потом всё остальное. То есть заголовок, потом первый абзац, потом жанр — и только потом разговоры о том, что «площадка не та».

В вебе mobile и desktop анализируют раздельно, даже если тест шёл на общем трафике. Иначе вариант «выигрывает в среднем», а на деле поднял конверсию на одном устройстве и обвалил на другом, где сидит основная аудитория.

В публикациях та же ошибка называется «сложили ленту и поиск».

Вот как это выглядит на моих цифрах. Двадцать шесть материалов в блоге, показы от 364 до 1 079, медиана 619. Доля открытий гуляет от 7,4% до 65,5% — почти девятикратный разброс, из которого хочется сделать громкий вывод.

Но 65,5% — это тот самый материал, который живёт на поиске: его открывают люди, пришедшие по запросу, а не листающие ленту. Смешивать его с остальными нельзя. Если оставить только двадцать статей, попавших в узкий коридор 440–700 показов, разброс сжимается до 7,4–37,5%. Всё равно пятикратный — и вот он уже про заголовок и первый абзац, потому что аудитория и объём показов у них сопоставимы.

Первое число красивее. Второе — единственное, на которое можно опираться.

Главная ловушка тестирования: вариант выигрывает по конверсии и проигрывает по выручке. Скидка подняла продажи, средний чек упал, себестоимость выросла — денег стало меньше.

Для публикаций это переводится так: самый читаемый материал и самый полезный для бизнеса — обычно разные материалы. Текст с провокацией в заголовке соберёт показы и комментарии. Текст с разбором по существу соберёт меньше внимания и приведёт тех, кто через месяц напишет в личку.

Поэтому метрика теста — не показы и даже не открытия, а следующий шаг: сколько человек пришло в расчёт, в диагностику, в личные сообщения, назвало статью на созвоне. Если такой метрики нет, вы тестируете обложку ради обложки.

В вебе первые 24 часа теста смотрят каждый час, потому что технические поломки вылезают именно там: трафик разъехался, вариант сломался на мобильных, события аналитики не отрабатывают.

У публикации свой список на первые сутки. Как выглядит заголовок в ленте — не обрезан ли он на середине мысли. Читается ли обложка в миниатюре, а не на полном экране. Совпадает ли первый абзац с обещанием заголовка. Что спрашивают в комментариях — это бесплатный отчёт о том, что в тексте непонятно.

Поймать ошибку в первый день дешевле, чем на третьей публикации подряд с тем же дефектом.

Тестировать заголовок до размещения. Написать три варианта, показать их людям из своей ниши в личных сообщениях и спросить не «какой лучше», а «про что это». Вариант, который пересказывают правильно, и есть рабочий.

Проверять обложку миниатюрой. В ленте она шириной около четырёхсот пикселей, и всё, что не читается в этом размере, для читателя не существует.

Держать журнал. Дата, площадка, заголовок, показы, открытия, следующий шаг. Через десять строк там появятся закономерности, которых не видно ни в одной отдельной публикации. В RUPR Agency, где я работаю, такой журнал ведётся по каждому клиенту — не ради отчёта, а потому что без него любой спор о результате упирается в ощущения.

И главное — перестать выносить приговор каналу по одной статье. Это не осторожность, это арифметика.

Тестирование в публикациях выглядит не так, как в рекламе: групп нет, трафика мало, эксперимент растянут на месяцы. Но принципы, которые делают тест честным, никуда не деваются — меняется только масштаб.

В следующем материале разберу, как читать статистику публикации: какие цифры площадка показывает честно, какие вводят в заблуждение и что из них вообще нельзя складывать. Подписывайтесь, если тема близка.

А сколько публикаций было у вас, прежде чем вы решили, работает канал или нет? Если одна-две — интересно, что именно вы по ним поняли: про площадку, про тему или всё-таки про конкретный текст.