Без A/B-теста: как Insense тестирует модель, которая предсказывает эффективность видео в платной рекламе

На основе данных о показателях в paid media — например, CTR, CPM и других.

Расскажем, как мы в Insense создаём продукт, аналогов которому нет, и для чего мы это делаем.

Начнём со статистики — 62% пользователей заходят в интернет со смартфона, а значит, большую часть рекламы потребляют именно с мобильного устройства. Время контакта с телефонным экраном самое большое по сравнению с ТВ, десктопом и другими устройствами. Это первое, что человек видит утром, и последнее — перед сном. Очевидный факт, но не всё так просто.

Большие бренды до сих пор снимают рекламу по старым лекалам — ориентируясь на ТВ. На это уходят большие бюджеты — минимум 10 млн рублей. После этого готовую коммуникацию передают в оплаченную рекламу в социальных сетях, и она чаще всего не работает: об этом говорят показатели CTR и CPM (показатель кликабельности и стоимость рекламы за тысячу показов). Это происходит отчасти потому, что ответственная за paid команда не влияет на креатив и на финальный результат.

Изменился способ потребления контента, но не все к этому адаптировались, и продолжают работать по старым правилам. И мы решили создать продукт, который поможет брендам производить рекламу, работающую в paid.

Мы создали модель, которая определяет, как рекламное видео отработает в paid — плохо, средне или хорошо. Для этого нужно загрузить в модель до пяти роликов, она проанализирует их по нескольким критериям и выдаст прогноз по эффективности видео. Больше не нужен A/B-тест — можно экономить, не запуская лишние ролики в paid.

Сейчас модель показывает точность на 83%, но мы постоянно её дообучаем, поэтому к запуску прогноз будет точнее. Также в будущем появится возможность дообучить модель под конкретного клиента — а это ещё больше повысит точность.

После оценки можно забирать ролики с оценкой «хорошо» и запускать рекламные кампании, которые эффективно отработают.

После бесконечного числа проб и ошибок нам удалось найти ряд признаков, которые влияют на итоговую оценку. Делиться ими пока не будем, но можем сказать, что глазу они почти незаметны.

Сейчас уже на этапе теста можно проверить эффективность ролика — запустить хорошую по оценке модели рекламную кампанию в Facebook и наблюдать за работой прогноза. На прогноз можно положиться: модель беспристрастна. А вот человек не всегда может оценить эффективность креатива — даже если ролик нравится визуально, в paid он может отработать плохо.

В будущем мы расширим функционал модели, чтобы она могла не только оценивать потенциальный успех ролика, но и давать рекламодателям рекомендации, что улучшить.

Мы видим проект как систему, которая помогает создавать креатив, работающий в платных каналах для любых задач бренда. Например, компании нужно повысить узнаваемость бренда — тогда мы дообучим модель под показатель CPM.

#insense