{"id":7016,"title":"\u0423\u0433\u0430\u0434\u0430\u0439\u0442\u0435 \u0433\u043e\u0440\u043e\u0434\u0430 \u043f\u043e \u0437\u0432\u0443\u043a\u0443 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u043f\u0438\u0432\u0430 \u0438 \u043f\u0435\u043d\u0438\u044e \u043a\u0438\u0442\u043e\u0432","url":"\/redirect?component=advertising&id=7016&url=https:\/\/vc.ru\/special\/sound&placeBit=1&hash=6ca24c77fedb0a01bd41595a6fbd498b5375a294c2e3b54a129aa318671b77a3","isPaidAndBannersEnabled":false}
Медиа
Алексей Березовой

Как The New York Times тестирует заголовки статей

Перед вами перевод статьи из блога Tom Cleveland. Он рядовой американский программист, но интересуется журналистикой. Чувак проанализировал работу The New York Times над заголовками и визуализировал данные. Мне показалось это интересным, поэтому я перевёл статью и выкладываю здесь с некоторыми сокращениями.

New York Times рассказывает своим рекламодателям, что они — это источник новостей №1 для молодых и богатых идейных лидеров. NYT рисует определенную картину мира и в некоторых кругах она становится картиной мира по умолчанию, согласны вы с ней или нет.

Портрет аудитории NYT

Я хотел узнать больше об этой картине. Так что в течение следующих нескольких недель я буду публиковать серию сообщений в NYT, опираясь на данные, взятые с их первой страницы и взятые из их официального API.

Эта статья посвящена A/B-тестированию: как NYT тестирует разные заголовки и как они меняются с течением времени.

А/B-тестирование в The New York

Ладно, сейчас идёт 2021 год — было бы шоком, если бы New York Times не использовала в заголовках A/B-тестирование.

И они открыто об этом говорят:

NYT также практикует проведение так называемых A/B-тестов заголовков, которые появляются на его домашней странице: половина читателей будет видеть один заголовок, а другая половина — альтернативный заголовок в течение примерно получаса. В конце теста The Times будет использовать заголовок, который привлек больше читателей.

Но вопросы остались:

  • Сколько статей проходит A / B-тестирование?
  • Сколько заголовков проверяется для каждой статьи?
  • Помогает?
  • Насколько разные заголовки?

Методология

Я написал скрипт, который:

  • Парсит домашнюю страницу NYT
  • Вытаскивает все заголовки
  • Связывает их с метаданными статей из официального NYT API
  • Запихивает заголовки в базу данных

Скрипт запускается каждые пять минут. Я начал делать это 13 февраля 2021 года, поэтому всё, что будет дальше, основано на данных с этого времени.

Результаты

NYT действительно проводит A / B-тестирование своих заголовков. Примерно 29% статей имеют несколько заголовков, а наибольшее количество заголовков, наблюдаемых для одной статьи (на данный момент), составляет восемь.

Среднее количество заголовков для одной статьи

Многие из этих изменений заголовков довольно незначительны — NYT обычно исправляет ошибки в заглавных буквах или пунктуации после публикации статьи.

И иногда кажется, что редакторы не могут определиться: следует ли писать заглавными буквами?

В других случаях NYT меняет заголовки по мере развития сюжета. Вот отличная история, рассказанная в заголовках:

Но большинство смен заголовков — это явно A / B-тесты, требующие большого количества кликов.

Вот статья о стиле правления Байдена с довольно драматичным изменением заголовка:

Единственная причина для такого рода изменений — попытка повысить вовлеченность. И это сработало! Эта статья попала в список «самых просматриваемых» через несколько часов после смены заголовков (что подтверждает мою теорию о том, что либералы любят читать о Трампе).

Но не все A / B-тесты имеют такой успех. Вот A / B-тест, который определенно провалился (возможно, придется прищуриться, чтобы увидеть крошечное синее пятно на меньшем экране):

Надеюсь, эта неудача не отпугнула чокнутого редактора, стоявшего за «Прыгающим Иосафатом!». NYT определенно может использовать больше Bugs Bunny-isms (непереводимый американский фольклор — прим. А.Березового).

Но в целом у этих A / B-тестов есть закономерность: со временем заголовки становятся все более драматичными. Возьмите эту статью о секс-скандале Куомо:

При первой смене заголовка Куомо переходит из нападения в осаду, а во второ смене он больше не пересматривает свой план, он извиняется.

И это работает: по мере изменения заголовка мы видим, что статья поднимается в рейтинге «самых просматриваемых».

В этой статье об адресе CPAC Трампа заголовки становятся еще ярче:

Трамп начинает с обращения к консерваторам и утверждения лидерства G.O.P. (Республиканская партия — прим. А.Березового), но в последнем заголовке у Трампа есть расстрельный список, и он делает предупредительный выстрел. И действительно, напыщенная риторика продвигает эту статью в список «самых просматриваемых».

Теперь последний пример: эта чрезвычайно популярная статья об интервью Опры с Меган Маркл:

Я смотрел это интервью — все два часа — и могу сказать вам, что первые два заголовка намного лучше отражают то, что произошло. Да, Меган раскрывает, что подумывала о самоубийстве, но это пятиминутный перерыв в интервью, в котором происходит гораздо больше. Например, ни в одном из этих заголовков не упоминается роль, которую расизм сыграл в бедственном положении Меган — тема, которая отнимает у экрана гораздо больше времени, чем её суицидальные мысли.

Работает ли это?

Приведенные выше статьи стали намного популярнее после некоторого A / B-тестирования — но работает ли это в целом?

Я подсчитал, что статьи NYT, прошедшие A / B-тестирование, на 80% чаще попадают в «самые популярные» списки. И, что неудивительно, больше тестирования заголовков коррелирует с большей вовлеченностью:

Предостережение: количество заголовков и вовлеченность взаимосвязаны, но кто знает, в каком направлении работает причинно-следственная связь. Мне кажется логичным, что чем больше вы тестируете заголовок, тем больше вероятность того, что ваша статья получит общий доступ / лайк / клик.

Но также возможно, что NYT тратит больше времени на настройку уже популярных статей. Хотя, как ни странно, во многих статьях, которые я просмотрел, заголовки часто меняются, прежде чем статья попадает в большинство чартов).

Итак, что я узнал?

NYT проверяет заголовки, чтобы повысить вовлеченность.

Вау. (сарказм)

В целом, А/В тестирование имеет ограниченное применение.

Я очень удивлен, как мало заголовков проверяется NYT. Большинство статей не проходят A / B-тестирование, а большинство статей, прошедших A / B-тестирование, имеют только два заголовка.

Я бы предположил, что редакторы NYT ставят задачу сотрудникам представить тексты с шестью возможными заголовками, и что какая-то автоматизированная система проверяет все шесть загов в первый час. Но очевидно, что это неправда — несмотря на то, что данные показывают, что большее количество A / B-тестирования повысит вовлеченность.

Одно из возможных объяснений: 62% дохода NYT поступает от подписок, и только 27% приходится на рекламу (а доход от рекламы падает из года в год). Это означает, что просмотры не так важны, как подписки, а первая страница, заполненная кликбейтами, скорее всего, отпугнет потенциальных подписчиков.

Всё это приводит к эмоционально заряженным заголовкам.

NYT обычно более сдержан, чем BuzzFeed, но мы должны помнить, что это не нейтральный наблюдатель. Как показывают приведенные выше примеры, заголовки, прошедшие A / B-тестирование, рисуют гораздо более драматичную картину, чем реальность. Постоянные читатели New York Times в конечном итоге будут думать, что мир страшнее, чем есть на самом деле.

Что дальше

В следующем посте я рассмотрю первую страницу NYT, а именно:

  • Как долго статьи остаются на первой странице
  • Какие статьи проводят больше всего (и меньше всего) времени на первой странице
  • Какой контент наиболее вероятно (и наименее вероятно) появится на первой странице
  • Как время выхода на первую страницу соотносится с общей вовлеченностью

И другие забавные штуки.

Напишите в комментариях, если вам интересно!

Эту статью для вас перевёл

Алексей Березовой
медиаэксперт, главред Дeлoбaнкa

Вы наткнулись на этот материал случайно. Чтобы гарантированно получать полезную информацию о медиа, подпишитесь на мой телеграм-канал.

{ "author_name": "Алексей Березовой", "author_type": "self", "tags": [], "comments": 36, "likes": 81, "favorites": 133, "is_advertisement": false, "subsite_label": "media", "id": 219275, "is_wide": true, "is_ugc": true, "date": "Thu, 11 Mar 2021 18:20:22 +0300", "is_special": false }
0
36 комментариев
Популярные
По порядку
Написать комментарий...

Интересное исследование, кайфанул от погружения в тему, особенно про связку количества тестов со статьями дохода, есть над чем поразмышлять после прочтения, накинуть свои мысли.
Было бы здорово в конце собирать основные цифры в небольшую таблицу, чтобы по тексту не искать
Жду следующей статьи, спасибо!

6

Ну камон, просто почитайте про АБ тесты и проверку гипотез в продуктовой разработке, у любой заметной компании есть такое десятки лет

1

Вот это секретики, а то я подумал что это инновация NYT, спасибо что просветили. А что за «гипотеза» и как найти «заметную» компанию, есть ссылки? хочу просветиться, говорят, после, можно отвечать на комменты в vc даже не понимания о чем они

1

Конечно

Сходу АБ тесты в Авито, Яндексе, Plarium
Если дальше листать, можно уже под себя найти компанию позаметнее

0

Простите, что потревожили вас своей статьёй.

0

Камон, речь о медиа, а не о интернет-сервисе.

0

Больше похоже на многорукого бандита

Upd: а впрочем, они сами описывают процесс в своём блоге
 https://open.nytimes.com/how-the-new-york-times-is-experimenting-with-recommendation-algorithms-562f78624d26 ред.

3

Интересно, что у них блог на Medium при том, что у самих огромная медиа-платформа.

0

Раскидывают свои сети везде, где могут))

Наверное, есть часть аудитории, которая входит через Медиум. На западе Медиум гораздо популярнее, чем у нас.

0

Это просто как на хабре корпоративный технический блог вести, там своя атмосфера и аудитория

Еще пример:
https://netflixtechblog.medium.com/

1

Похоже на то.

0

кайфец, спасибо

0

WP плагинов никто не знает под такие тесты?

1

Тест получится не совсем корректный. Дело в том, что перед A/B тестом надо проводить A/A тест, чего в плагинах я не видел.

0

Иван, А/А это как?

0

A/A похож на A/B. Только вместо налива читателей на два разных заголовка, в нашем случае, мы наливаем 2 группы на 2 одинаковых. В A/A мы проверяем сам принцип деления пополам. Насколько он корректен? Половинки аудитории ведут себя абсолютно одинаково? При прочих равных.

Если «да», то цифры последующего или параллельного A/B тестирования получают ненулевую ценность. Если «нет» — цифры хорошо будут смотреться на помойке.

Это может казаться странным, но во множестве случаев аудитория или делится пополам по негодному принципу или просто её статистически мало, она не особо репрезентативна. Допустим случайным образом в группу A налились случайные социалисты, условно, а в группу B коммунисты. Среди читателей NYT и те, и те. Но набились неровно, просто по рандомайзеру, а-ля, так вышло. И кликают эти 3 человека по-разному. О чём это говорит? Ни о чём.

3

Супер, спасибо!

0

тоже было бы интересно узнать

0

Нашёл несколько, вот вроде норм https://thrivethemes.com/optimize/

1

Супер, спасибо

0

Круто, спасибо большое! Очень интересное исследование.
Я так понял, что заголовки меняются уже у выстреливших статей?
Как думаете, А/Б заголовки пишутся полностью вручную или агрегируются сработавшие ключи и с них составляются заголовки? Может другой способ автоматизации? 

0

У меня ощущение, что заги генерятся вручную, редакторами. И меняет их выпускающий редактор, по мере динамики кликов. 

0

Алексей, а вы сами в канал пишете?

0

В свой — да.

1

В чем разница заголовков в примере с "Don't Give in to Terror"?

0

не могут определиться — с большой или с маленькой буквы писать некоторые слова

0

Спасибо за весьма интересный материал. У них на сайте в списке новостей дискрипшин не отображается, только один тайтл?

0

В основном — заг и лид. Есть новостные плашки только с загами.

0

Где-то в середине ошибка в переводе "адрес CPAC Трампа". Там же не про адрес речь.
Вообще мощный инструмент, и не только для этих ваших A/B тестов.

Обратите внимание как теперь выглядит заголовок про интервью Меган и Гарри:
‘I Just Didn’t Want to Be Alive Anymore’: Meghan Says Life as Royal Made Her Suicidal

Статья редактировалась несколько раз, в течение двух дней после публикации.
"Ну, поманипулировали немного, и хватит пока".

0

Кстати, подскажите, а есть ли англоговорящий аналог VC? 

0

Медиум совершенно не похож на vc

0

Из этих примеров на A/B-тестирование заголовка похож только последний график. Только тут мы видим, что явно у статьи есть два заголовка одновременно и одним показывается одно, другим - другое. В остальных случаях - обычная редакторская работа. Люди видят по реакции читателей, которые прочитали статью (глубина просмотра, время на странице), что она приносит больше дохода и пытаются улучшить заголовок статьи, чтобы на неё заходило больше людей. Делают более "желтушным". Но где тут A/B тестирование? 

0

Редакторской работы много, да

0
Читать все 36 комментариев
Cloud CDN: что это такое, как устроено и кому нужно. Разбираем на примере бургеров

Cloud CDN — это сеть быстрой доставки статического контента в формате услуги облачного провайдера. Объяснить, как работает технология, проще всего на примере — сравнить Cloud CDN с популярным продуктом, который выглядит плюс-минус одинаково вне зависимости от того, заказали вы его в Москве, Питере или Нью-Йорке. Знакомьтесь: классический бургер.…

ПСБ запустил личный кабинет для предпринимателей. Там можно следить онлайн за каждым своим терминалом

Сервис предоставляется бесплатно.

Как не попасть в карьерную ловушку тимлида: личный опыт

Кажется, что тимлиду просто некуда расти: дальше надо либо идти в менеджмент, либо наоборот, становиться узконаправленным разработчиком. По просьбе «Лаборатории Касперского» Евгений Мацюк, который прошел в компании неординарный путь, рассказал о своих карьерных развилках во время и после тимлидства, а также поделился опытом горизонтального роста.

Правительство обязало мессенджеры регистрировать пользователей по паспортным данным с марта 2022 года Статьи редакции

Сервисы должны будут запрашивать данные у операторов, а те — предоставлять их в течение 20 минут после регистрации пользователя.

«М.Видео» не привёз часть заказа и клиент не может ничего сделать уже несколько недель

TL;DR;
Заказал и оплатил 02 октября два товара в М.видео, в доставку 06 октября привезли один товар и не привезли сетевой фильтр. Три недели попыток хоть как-то решить проблему официально и неофициально безуспешны, за это время не было даже попытки позвонить например мне. Обращение без ответа, операторы врут, фильтра у меня нет, денег у меня…

Реклама в газетах и CRM: как мы массово нанимаем синих воротничков в швейное производство

У нас в Кофтёнышах, 80% сотрудников — это производственный персонал: швеи, упаковщицы, мастера, а 20% — коммерческий и административный: дизайнеры, маркетологи, менеджеры интернет-магазина.

Несколько лет у нас было чёткое деление, где искать людей на свои позиции: синие воротнички на SuperJob и Авито, белые воротнички — на HeadHunter. Со временем видение изменилось, а подход мы систематизировали.

Как OTUS стал платформой для самореализации. История преподавателя

Наш преподаватель, специалист по Data Science, решил поделиться своей историей преподавания. Он рассказал, как пришел в эту сферу, с какими трудностями столкнулся на пути к преподаванию и что ему помогает. А еще поделился советами, как поддерживать внимание студентов и сделать занятия полезными и увлекательными.

Исследование: сотрудники хотели бы иметь комнату отдыха, бесплатный сок, а работодатели уже готовы покупать ЗОЖ-снеки

Онлайн-сервис доставки продуктов и товаров СберМаркет и исследовательское агентство Research Me спросили сотрудников, как они хотели бы питаться в офисе и что в нем видеть. В опросе приняли участие более 1500 работающих людей по всей России. Сервис также спросил работодателей – В2В-клиентов СберМаркета: что они покупают в офис, что точно никогда…

Наладили производство подделок и обманули Лувр: как братья из Одессы заработали на фальшивых древностях Статьи редакции

Шепсель и Лейба Гохманы в конце 19-го века продали Франции подделку под видом древней золотой тиары за 200 тысяч франков и ушли безнаказанными, а создатель украшения прославился в Европе — его тиара до сих пор хранится в Лувре.

Открытка с изображением поддельной тиары скифского царя Сайтаферна Amusing Planet
М.Видео обманул меня с предзаказом Apple Watch Series 7

Печали пост. Как только 8 октября открылся предзаказ на Apple Watch Series 7, поспешил на сайты apple.com, М.Видео и еще несколько маркетплейсов.

null