Без A/B-теста: как Insense тестирует модель, которая предсказывает эффективность видео в платной рекламе

На основе данных о показателях в paid media — например, CTR, CPM и других.

Без A/B-теста: как Insense тестирует модель, которая предсказывает эффективность видео в платной рекламе

Расскажем, как мы в Insense создаём продукт, аналогов которому нет, и для чего мы это делаем.

Проблема рекламодателей

Начнём со статистики — 62% пользователей заходят в интернет со смартфона, а значит, большую часть рекламы потребляют именно с мобильного устройства. Время контакта с телефонным экраном самое большое по сравнению с ТВ, десктопом и другими устройствами. Это первое, что человек видит утром, и последнее — перед сном. Очевидный факт, но не всё так просто.

Большие бренды до сих пор снимают рекламу по старым лекалам — ориентируясь на ТВ. На это уходят большие бюджеты — минимум 10 млн рублей. После этого готовую коммуникацию передают в оплаченную рекламу в социальных сетях, и она чаще всего не работает: об этом говорят показатели CTR и CPM (показатель кликабельности и стоимость рекламы за тысячу показов). Это происходит отчасти потому, что ответственная за paid команда не влияет на креатив и на финальный результат.

Изменился способ потребления контента, но не все к этому адаптировались, и продолжают работать по старым правилам. И мы решили создать продукт, который поможет брендам производить рекламу, работающую в paid.

Что мы сделали

Мы создали модель, которая определяет, как рекламное видео отработает в paid — плохо, средне или хорошо. Для этого нужно загрузить в модель до пяти роликов, она проанализирует их по нескольким критериям и выдаст прогноз по эффективности видео. Больше не нужен A/B-тест — можно экономить, не запуская лишние ролики в paid.

Сейчас модель показывает точность на 83%, но мы постоянно её дообучаем, поэтому к запуску прогноз будет точнее. Также в будущем появится возможность дообучить модель под конкретного клиента — а это ещё больше повысит точность.

После оценки можно забирать ролики с оценкой «хорошо» и запускать рекламные кампании, которые эффективно отработают.

Без A/B-теста: как Insense тестирует модель, которая предсказывает эффективность видео в платной рекламе

После бесконечного числа проб и ошибок нам удалось найти ряд признаков, которые влияют на итоговую оценку. Делиться ими пока не будем, но можем сказать, что глазу они почти незаметны.

Сейчас уже на этапе теста можно проверить эффективность ролика — запустить хорошую по оценке модели рекламную кампанию в Facebook и наблюдать за работой прогноза. На прогноз можно положиться: модель беспристрастна. А вот человек не всегда может оценить эффективность креатива — даже если ролик нравится визуально, в paid он может отработать плохо.

Будущее проекта

В будущем мы расширим функционал модели, чтобы она могла не только оценивать потенциальный успех ролика, но и давать рекламодателям рекомендации, что улучшить.

Мы видим проект как систему, которая помогает создавать креатив, работающий в платных каналах для любых задач бренда. Например, компании нужно повысить узнаваемость бренда — тогда мы дообучим модель под показатель CPM.

  • Дата запуска: декабрь 2020 года.
  • География проекта: преимущественно США, но и в России ведём переговоры.
  • Стоимость: в процессе разработки.
  • Что происходит сейчас: тест модели для выявления ошибок и согласование первых пилотов с клиентами в США.
2222
25 комментариев

Не совсем понятно - если ролики уже есть, в чем сложность залить их в fb и проверить эффективность уже на реальных людях? Затем выбрать лучшие по целевым показателям и замасштабить. Стоимость теста 100–500 баксов и 1-2 дня для точного результата.

Почему я должен верить вашему алгоритму, а не своей ЦА?

9
Ответить

Стоимость теста 100–500 баксов и 1-2 дня для точного результа

Всё так. Но, есть есть бренды, которые ежедневно запускают от 10 тестов и тратят не $500, а сильно больше. Для них алгоритм поможет очень быстро накопить на новую Теслу. 

Почему я должен верить вашему алгоритму, а не своей ЦА?
Как раз сейчас мы с несколькими крупными игроками тестируем алгоритм. Как только снизим ошибки по прогнозам до приемлемых цифр, ему точно можно будет верить, так как ЦА там тоже учитывается. 
А дальше будем надеяться на наших ребят из маркетинга =)

2
Ответить

Ну вот да. Тут согласен. На ролики уходит много сил и энергии. Сложно представить что я сделал ролик, залил его в сервис и решил от них отказаться. 

2
Ответить

Комментарий недоступен

4
Ответить

Майк, спасибо за комментарий. 
Всё так, таргет сейчас большие ребята с значительным объёмом закупок. 

4
Ответить

Звучит, как волшебная таблетка или магический шар гадалки.


Если это одни и те же «признаки эффективности», которые определяет ваш сервис, и которые почему-то никто кроме вас не обнаружил, то рано или поздно они станут доступны всем и сервис станет бессмысленным. Если эти признаки меняются, тогда достоверно определить, актуален этот признак, или нет, не представляется возможным.

3
Ответить

Звучит, как волшебная таблетка или магический шар гадалки.

 
Звучит, возможно. По факту математика и немного магии =) 


Почему нет аналогов и почему повторить сразу не получится

Мы на этом не собираемся останавливаться, это только первая часть нашего продукта, но даже это повторить будет непросто, так как нужно собрать большой датасет (десятки тысяч роликов), с нужными метриками. А потом еще вся эта магия и пляски с признаками. 

1
Ответить