Байесовы бандиты: как Facebook принимает решения о распределении расходов

Очень часто сложно понять механизм автоматического распределения расходов в Facebook. Поскольку расходы неравномерно распределяются между объявлениями в группе, бывает трудно сделать вывод, какие объявления работают лучше остальных.

Очевидно, что на рекламу, которую Facebook считает лучшей, распределяется автоматически больше бюджета. И хотя мы часто видим, что на высокоэффективную рекламу тратятся приличные деньги, иногда мы сталкиваемся с объявлениями, расход на которые кажется недостаточным.

Алгоритмические решения, используемые для определения того, какая реклама лучше, а какая хуже, понять трудно.

Сегодня мы поговорим о том, как Facebook подходит к этому математически, почему Facebook принимает решения о распределении расходов именно так, а также о некоторых причинах, по которым алгоритмическое распределение может работать неправильно.

Перевод статьи Shamanth Rao. Чтобы не пропустить новые статьи, подписывайтесь на канал t.me/mobileplusblender.

Будучи вполне понятными по сути, A/B-тесты по принципу «победителю — всё» могут привести к потере денег рекламодателей. С тестами есть три основные проблемы:

1. Предпочтения пользователей со временем меняются. Когда одно объявление становится победителем, это значит, что на него Facebook переводит все расходы. Это не всегда корректно: A/B-тест мог проводиться в течение определенного сезона или в определенные дни (например: приложение доставки еды использует салат в качестве победившего креатива летом, а горячий шоколад — зимой). «Победитель» не всегда может быть победителем, а «проигравший» не всегда может быть проигравшим. Могут быть ложноотрицательные и ложноположительные результаты;
2. Все объявления (иногда) эффективны. Реальная жизнь полна вероятностей: успешный креатив не является победителем для 100% пользователей/показов (как подразумевается в парадигме A/B-тестирования). Тот факт, что объявление является «победившим», означает лишь то, что большую часть времени оно работает лучше. Может существовать 10% показов/аудиторий, для которых «проигравший» креатив лучше. Некоторые показы «плохих» объявлений приводят к покупкам, а некоторые показы «хороших» — не приводят.
3. Равное распределение показов приводит к лишним тратам. Если выигрышный креатив лучше в 90% случаев, а проигрышный — в 10%, то равное распределение между ними может привести к потере бюджета. Проигравшее объявление экономически невыгодно показывать чаще?

Алгоритм Facebook использует вероятностный байесов подход для решения вышеуказанных проблем. Помимо классного (для алгоритма) названия, чем он лучше, чем менее сложные алгоритмы?

В байесовой парадигме вы используете уже известную информацию, чтобы строить прогнозы о том, что вы хотите узнать. Термин «бандиты» происходит от класса вероятностных задач, связанных с переменными, у которых «много рук», что напоминает ряд игровых автоматов в казино. «Бандиты» выглядят одинаково, но имеют разные выплаты.

В парадигме байесовых бандитов игрок знает, как часто игровые автоматы ранее приводили к «выигрышам», и сталкивается с проблемой принятия решений о том, на каких автоматах играть в будущем.

Подобно тому, как игрок сталкивается с проблемой, в какой автомат играть, чтобы максимизировать выигрыш, «проблема» Facebook состоит в том, чтобы выбирать и определять приоритеты показа той рекламы, которая максимизирует доход для себя (Facebook) и для рекламодателя.

Facebook мог использовать A/B-тестирование и показывать разные объявления одинаковому количеству пользователей, прежде чем отключать менее эффективную рекламу.

Как упоминалось выше, такое A/B-тестирование по принципу «победителю — всё» имеет недостатки, связанные со временем, предельной эффективностью и потраченными впустую первоначальными затратами. Для обхода этих проблем Facebook и использует парадигму байесовых бандитов.

Подход байесовых бандитов не уникален для рекламы в Facebook. За последние пару десятилетий его применимость значительно расширилась. Развитие Интернета привело к повсеместному измерению поведения и взаимодействия пользователей. Байесов подход уникальным образом использует преимущества огромного объема этих данных.

То, что когда-то было забытым статистическим методом, приобрело силу с доступностью огромных объемов информации, необходимой для алгоритма, и за последнее десятилетие байесовы подходы перенеслись из сферы загадочной математики в область, напрямую использующую повсеместно данные в Интернете.

Газеты, выбирающие между разными заголовками, ритейлеры в поиске разных упаковок, авиакомпании, занимающиеся ценообразованием, и, конечно же, рекламные платформы, выбирающие между разными объявлениями, — все они используют разновидности подхода байесовых бандитов.

Предположим, рекламодатель оптимизирует кампанию по покупкам. В этом случае его KPI — это количество покупок на тысячу показов (PPM). Алгоритм начинается с предположения, что мы не знаем, какова ожидаемая PPM для каждого объявления.

Алгоритм показывает объявления случайной выборке пользователей и измеряет количество покупок. Если объявление (допустим, A) приводит к большему числу покупок, чем другое объявление (B) за то же количество показов, мы делаем вывод, что у рекламы A более высокая вероятность более высокого PPM.

Вот как это будет выглядеть графически: это функция распределения вероятностей, где ось X показывает PPM, а ось Y — вероятность того, что PPM представляет собой определенное значение.

Таким образом, у обоих объявлений очень низкая вероятность того, что PPM выше 0,7, у «хорошего» объявления высокая вероятность PPM около 0,5, а у «плохого» объявления с высокой вероятностью PPM составит около 0,45.

Теперь, когда алгоритм знает, какое объявление имеет более высокий «ожидаемый PPM» (в приведенном выше примере это будет объявление A), он чаще показывает объявление A и отдает меньше показов объявлению B.

Что, если ожидаемый РРМ объявления А был бы значительно выше, чем объявления В (скажем, диапазон PPM с 90%-ной достоверностью составлял от 0,8 до 0,9 для объявления А и от 0,2 до 0,3 для объявления В)?

Тогда алгоритм будет отдавать большую часть показов объявлению A, но он все равно понимает, что объявление B имеет небольшую ненулевую вероятность достигнуть PPM 0,9 и выше, и поэтому продолжит отдавать небольшое количество показов ему.

(Это упрощенное представление, и хотя фактический алгоритм Facebook действительно по-разному учитывает разные цели оптимизации, разных рекламодателей и разных пользователей, он использует данный общий принцип).

Все это логично и интуитивно понятно. Понятно, что в парадигме байесовых бандитов «лучшие» объявления побеждают.

Так почему же они не всегда выигрывают? Это приносит разочарование большинству маркетологов: плохо работающая реклама иногда получает больше бюджетов и, по-видимому, не вписывается в парадигму байесовых бандитов, потому что выигрывает у более эффективной.

Вот почему это может произойти. Чтобы алгоритм мог принимать решения об ожидаемых вероятностях, он должен привести к достаточному объему покупок. Если объявление приводит к 2 или 3 покупкам, оценка алгоритма ожидаемой вероятности попадания PPM в определенный диапазон будет не очень точной.

Иногда алгоритм видит 1 или 2 покупки (или несколько восходящих событий, таких как установки или регистрации, которые он принимает в качестве опережающих индикаторов) и делает вывод, что объявление «лучше», только потому, что оно (пока) не привело к 10 или 20 покупкам для необходимой окончательной оценки.

Именно, поэтому опытные маркетологи предпочитают и рекомендуют использовать — достаточное количество событий конверсий, чтобы алгоритмы могли принимать более достоверные решения.

Однако это не всегда возможно или просто, тем более что реклама требует времени и расходов для накопления алгоритмами исторических данных для формирования точных оценок вероятностей.

Вот почему иногда кажется, что алгоритмы Facebook отдают предпочтение «плохой» рекламе: им просто не хватает данных для точного расчета вероятностей.

Понимание того, что решение Facebook основывается на исторической эффективности, помогает нам понять, что чем больше ценных событий мы отправляем Facebook, тем лучше может быть решение Facebook — и тем лучше эти решения могут работать на вас, а не против.

Привет, меня зовут Герман Капнин. Если вам интересно узнавать больше про мобильную рекламу, мобильную аналитику, новости из мира мобайла, давайте знакомиться лично: facebook.com/gr.kapnin или подписывайтесь на канал про мобайл, чтобы не пропустить и обсудить новые статьи: t.me/mobileplusblender

#facebook #алгоритмы