Как устроен динамический пейволл The New York Times

Пейволл (платный доступ к ценному контенту) работает в The New York Times с 2011 года.

За 10 лет после внедрения пейволл стал притчей во языцех — настолько эффективным он себя показал. В статье рассказывается, как он устроен.

Первоначально всем читателям предлагалось одинаковое количество бесплатных текстов. После их прочтения предлагалось заплатить, чтобы получить доступ к остальному контенту сайта.

К настоящему времени NYT превратилась в огромную цифровую компанию, где все решения принимаются на основе анализа данных, которые издательская система собирает о пользователях.

Как только новый пользователь заходит на сайт NYT, машинный интеллект определяет его потенциальный профиль и составляет персональный трек контактов, в рамках которого пользователю будет показано какое-то количество бесплатных текстов прежде, чем будет предложено подписаться.

Для каждого пользователя разрабатывается персональный трек на основе его профиля и платёжного потенциала. Для составления персонализированных пределов бесплатного чтения издание использует модель машинного обучения под названием Dynamic Meter.

Стратегия платного доступа компании основана на концепции воронки подписки (рисунок 1).

В верхней части воронки находятся незарегистрированные пользователи, у которых еще нет учетной записи в NYT. Как только пользователь прочитывает предельное количество статей, разрешённое для его незарегистрированного статуса, ему показывается форма регистрации, которая блокирует доступ к дальнейшему чтению и просит его создать учетную запись или войти в систему, если у него уже есть учетная запись.

Это дает доступ к большему количеству бесплатного контента, а поскольку пользовательская активность теперь привязана к регистрационному идентификатору, это позволяет нам лучше понять текущий интерес каждого читателя к контенту NYT.

Эта пользовательская информация используется для обучения любого алгоритма машинного обучения, а также для обучения динамического счетчика NYT.

Как только зарегистрированные пользователи достигают своего лимита бесплатного чтения, им предлагается подписаться. Именно этот момент контролирует динамический счетчик. Он анализирует вовлеченность зарегистрированных пользователей и определяет соответствующий лимит бесплатного чтения, чтобы оптимизировать путь к платной подписке.

Динамический счетчик помогает изданию достичь бизнес-целей.

Счётчик оптимизирует одновременно два показателя: количество взаимодействий зарегистрированных пользователей с контентом NYT и количество подписок, которые платный доступ генерирует за заданный период времени. Эти два показателя нуждаются в балансировке, поскольку широкое распространение контента через сети дистрибуции приводит к увеличению числа подписок, но за счет снижения вовлечённости читателей. Эта зависимость хорошо видна в данных, собранных в ходе рандомизированного контрольного исследования (R.C.T.), как показано на рисунке 2.

По мере увеличения лимита для зарегистрированных пользователей увеличивается вовлеченность, измеряемая средним количеством просмотров страниц. Но из-за того, что меньшее число зарегистрированных пользователей сталкиваются с платным доступом коэффициент конверсии снижается.

И наоборот, более раннее предложение подписки также влияет на привыкание читателей и потенциально снижает их интерес к нашему контенту. Это, в свою очередь, влияет на потенциальную конверсию их в качестве подписчиков в долгосрочной перспективе.

По сути, динамический счетчик оптимизирует конверсию и вовлеченность, балансируя между ними.

Модель предпринимает действия, которые повлияют на поведение пользователя, и увеличивает его склонность к подписке и взаимодействию с контентом NYT.

В отличие от прогнозной модели машинного обучения, предикативная модель имеет свои особенности. Например, пользователю было установлено некоторое ограничение по бесплатному чтению (счетчик «a»), и мы не знаем, что случилось бы с этим пользователем, если бы ему было предписано другое ограничение (счетчик «b») в течение того же периода времени.

Эту проблему называют “фундаментальной проблемой причинно-следственного вывода” или, проще говоря, “проблемой отсутствия данных”. Лучшее, что в данном случае можно сделать, это оценить, что произошло бы, используя данные пользователей, которым был установлен предел измерения b. Так, данные, собираемые из R.C.T. используются для обучения модели.

Учитывая, что мы стремимся к достижению двух целей, а именно, склонности к подписке и вовлеченности, NYT обучает две модели машинного обучения, которые они называют «базовыми моделями» (уравнение 1).

Структура этих базовых моделей похожа на популярную модель мета-обучения, называемую “S-learner”.Такая модель предсказывает целевую переменную с помощью функций X и переменной обработки T. Здесь переменная обработки T является категориальной переменной, которая определяет ограничение на счетчик, предоставляемое каждому зарегистрированному пользователю. Функции определяются исключительно на основе данных от первого лица по их взаимодействию с контентом Times.

Издание не использует в модели никаких демографических или психографических характеристик, чтобы избежать несправедливости и предубеждений в отношении разных социальных страт.

Используя данные R.C.T. для пользователей с функциями X и соответствующим подходом Т, мы можем подобрать две модели машинного обучения, f и g, которые предсказывают склонность к подписке (p) и нормализованную вовлеченность (e) соответственно. Чтобы максимизировать обе эти цели одновременно, мы преобразуем их в одну цель s, используя выпуклую линейную комбинацию, которая вводит весовой коэффициент δ, который принимает значение от 0 до 1 (уравнение 2).

Коэффициент δ служит в качестве параметра «трения» и позволяет явно установить важность, которую издание хочет придать подпискам по сравнению с вовлеченностью.

Как только задано определенное значение δ, модель определяет подход к пользователю, который максимизирует объединенную целевую функцию s (уравнение 3).

Подход может многократно применяться для разных значений δ, что дает набор оптимальных решений, которые формируют фронт Парето. Фронт Парето содержит решения, которые лучше всех остальных по крайней мере в одной из целевых функций, и по мере продвижения по этому фронту одна из целевых функций уменьшается, а другая увеличивается.

Чтобы наглядно проиллюстрировать это, давайте представим, что мы установили δ = 1, чтобы оптимизировать подписки. Используя установленную модель f, для каждого зарегистрированного пользователя мы можем предсказать склонность к подписке в разных сценариях, когда им будут назначены разные лимиты счетчиков.

Затем модель назначает лимит счетчиков, который генерирует наибольшую склонность к подписке (рисунок 3).

По сути, модель определяет нужное количество бесплатных статей, которые будут разрешены для каждого пользователя, чтобы они достаточно заинтересовались NYT и захотели подписаться, чтобы продолжить читать дальше.

Перед запуском модели NYT тестирует её на исторических данных, чтобы оценить её производительность после развертывания. Это называется обратным тестированием и оно включает в себя ответ на вопрос о том, как бы работала модель, если бы она была развернута в какой-то момент в прошлом.

В контексте динамического счетчика мы хотели бы знать, какой была бы производительность модели, если бы она устанавливала ограничения на счетчик за конкретный прошлый месяц.

Поскольку мы не можем повторить предположение (prescription) в прошлом, мы должны использовать данные прошлого R.C.T. и учитывать только тех пользователей, для которых типовое предположение соответствовало предположению R.C.T. (рис. 4A).

Увидев, подписались эти пользователи или нет, мы можем оценить общий коэффициент конверсии (C.V.R.), используя обратное взвешивание вероятности и оценку Хаджека (уравнение 4).

Эта оценка дает нам C.V.R., которого мы могли бы ожидать, если бы мы действительно могли вернуться назад во времени и установить пределы бесплатного чтения для всех пользователей, использующих модель. Аналогичную оценку можно выполнить и для получения средних просмотров страниц.

Процедура оценки может быть повторена путем изменения параметра трения δ, что приводит к набору точек, образующих фронт Парето (оранжевые точки на рис. 4B).

Когда δ изменяется с 0 на 1, мы продвигаемся вперед, увеличивая коэффициент конверсии и уменьшая среднее количество просмотров страниц.

Один из этих пунктов выбирается в зависимости от коэффициента конверсии, на который мы хотели бы ориентироваться в течение месяца. В результате мы получаем повышение вовлеченности по сравнению со случайной политикой (синие точки) при том же коэффициенте конверсии.

Эта стратегия позволяет NYT гибко настраивать пейволл в зависимости от наших бизнес-целей и в то же время разумно ориентироваться на пользователей, чтобы мы могли повысить вовлеченность и коэффициент конверсии по сравнению со случайными посетителями.

Текст перевёл и адаптировал

по материалам проекта NYT Open. Заглавная иллюстрация by Oscar Bolton Green

В развитии темы:

Как The New York Times формирует главную страницу своего сайта

Как The New York Times тестирует заголовки статей

- - -

Если вам интересно, что происходит в медиа, подпишитесь на мой телеграм-канал «Кнут и пряник бренд-медиа»