Без A/B-теста: как Insense тестирует модель, которая предсказывает эффективность видео в платной рекламе

На основе данных о показателях в paid media — например, CTR, CPM и других.

Расскажем, как мы в Insense создаём продукт, аналогов которому нет, и для чего мы это делаем.

Проблема рекламодателей

Начнём со статистики — 62% пользователей заходят в интернет со смартфона, а значит, большую часть рекламы потребляют именно с мобильного устройства. Время контакта с телефонным экраном самое большое по сравнению с ТВ, десктопом и другими устройствами. Это первое, что человек видит утром, и последнее — перед сном. Очевидный факт, но не всё так просто.

Большие бренды до сих пор снимают рекламу по старым лекалам — ориентируясь на ТВ. На это уходят большие бюджеты — минимум 10 млн рублей. После этого готовую коммуникацию передают в оплаченную рекламу в социальных сетях, и она чаще всего не работает: об этом говорят показатели CTR и CPM (показатель кликабельности и стоимость рекламы за тысячу показов). Это происходит отчасти потому, что ответственная за paid команда не влияет на креатив и на финальный результат.

Изменился способ потребления контента, но не все к этому адаптировались, и продолжают работать по старым правилам. И мы решили создать продукт, который поможет брендам производить рекламу, работающую в paid.

Что мы сделали

Мы создали модель, которая определяет, как рекламное видео отработает в paid — плохо, средне или хорошо. Для этого нужно загрузить в модель до пяти роликов, она проанализирует их по нескольким критериям и выдаст прогноз по эффективности видео. Больше не нужен A/B-тест — можно экономить, не запуская лишние ролики в paid.

Сейчас модель показывает точность на 83%, но мы постоянно её дообучаем, поэтому к запуску прогноз будет точнее. Также в будущем появится возможность дообучить модель под конкретного клиента — а это ещё больше повысит точность.

После оценки можно забирать ролики с оценкой «хорошо» и запускать рекламные кампании, которые эффективно отработают.

После бесконечного числа проб и ошибок нам удалось найти ряд признаков, которые влияют на итоговую оценку. Делиться ими пока не будем, но можем сказать, что глазу они почти незаметны.

Сейчас уже на этапе теста можно проверить эффективность ролика — запустить хорошую по оценке модели рекламную кампанию в Facebook и наблюдать за работой прогноза. На прогноз можно положиться: модель беспристрастна. А вот человек не всегда может оценить эффективность креатива — даже если ролик нравится визуально, в paid он может отработать плохо.

Будущее проекта

В будущем мы расширим функционал модели, чтобы она могла не только оценивать потенциальный успех ролика, но и давать рекламодателям рекомендации, что улучшить.

Мы видим проект как систему, которая помогает создавать креатив, работающий в платных каналах для любых задач бренда. Например, компании нужно повысить узнаваемость бренда — тогда мы дообучим модель под показатель CPM.

  • Дата запуска: декабрь 2020 года.
  • География проекта: преимущественно США, но и в России ведём переговоры.
  • Стоимость: в процессе разработки.
  • Что происходит сейчас: тест модели для выявления ошибок и согласование первых пилотов с клиентами в США.
0
25 комментариев
Написать комментарий...
Николай Савельев

Не совсем понятно - если ролики уже есть, в чем сложность залить их в fb и проверить эффективность уже на реальных людях? Затем выбрать лучшие по целевым показателям и замасштабить. Стоимость теста 100–500 баксов и 1-2 дня для точного результата.

Почему я должен верить вашему алгоритму, а не своей ЦА?

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

Стоимость теста 100–500 баксов и 1-2 дня для точного результа

Всё так. Но, есть есть бренды, которые ежедневно запускают от 10 тестов и тратят не $500, а сильно больше. Для них алгоритм поможет очень быстро накопить на новую Теслу. 

Почему я должен верить вашему алгоритму, а не своей ЦА?
Как раз сейчас мы с несколькими крупными игроками тестируем алгоритм. Как только снизим ошибки по прогнозам до приемлемых цифр, ему точно можно будет верить, так как ЦА там тоже учитывается. 
А дальше будем надеяться на наших ребят из маркетинга =)

Ответить
Развернуть ветку
Саша Резник

Я думаю те, кто тратят на рекламу сильно больше 500 в день не размышляют критерием "накопить". Если 500 — это все же кумулятивная цифра на 10 тестов, то 50 на тест это не деньги которые нужно стараться экономить проверяя гипотезу.

Еще еще момент — не все то видео, что не работает. Иногда бывает стремный креатив заходит на правильный таргет и все работает.

Ответить
Развернуть ветку
Дмитрий Рудаков

Поверь, крупняк только «за» будет сэкономить деньги на тест.
Также в статье сказано, что ии проверяет не стремность, а то, что не заметно человеку
Проект, как минимум, интересный. За их результаты пока не могу ничего говорить :)

Ответить
Развернуть ветку
Саша Резник

После вашего коммента сразу уверовал

Ответить
Развернуть ветку
Щербачев Михаил

Ну вот да. Тут согласен. На ролики уходит много сил и энергии. Сложно представить что я сделал ролик, залил его в сервис и решил от них отказаться. 

Ответить
Развернуть ветку
Danil Salukov

вот тут мы как раз и наблюдаем такую ситуацию - отказаться сложно, а результаты перформанса совсем не радуют. Но мы этот же алгоритм сейчас тестируем внутри платформы, когда создается ролик клиентом с помощью наших фрилансеров-видео продюссеров. Показываем Score, скоро еще и рекомендации. 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

Майк, спасибо за комментарий. 
Всё так, таргет сейчас большие ребята с значительным объёмом закупок. 

Ответить
Развернуть ветку
Соня Карлова

Звучит, как волшебная таблетка или магический шар гадалки.

Если это одни и те же «признаки эффективности», которые определяет ваш сервис, и которые почему-то никто кроме вас не обнаружил, то рано или поздно они станут доступны всем и сервис станет бессмысленным. Если эти признаки меняются, тогда достоверно определить, актуален этот признак, или нет, не представляется возможным.

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

Звучит, как волшебная таблетка или магический шар гадалки.

 
Звучит, возможно. По факту математика и немного магии =) 

Почему нет аналогов и почему повторить сразу не получится

Мы на этом не собираемся останавливаться, это только первая часть нашего продукта, но даже это повторить будет непросто, так как нужно собрать большой датасет (десятки тысяч роликов), с нужными метриками. А потом еще вся эта магия и пляски с признаками. 

Ответить
Развернуть ветку
Алексей Чечукевич

Идея ничего не стоит без реализации.

У Яндекса есть алгоритм прогнозирования погоды Метеум. Признаки всем известны. Больше никто такого до сих пор не реализовал. Как думаете - почему?

Ответить
Развернуть ветку
Соня Карлова
Больше никто такого

Какого?:))

Ответить
Развернуть ветку
Алексей Чечукевич

Прогнозирование погоды на основании мат модели по данным из прошлого

Ответить
Развернуть ветку
Taras Bogatyrev

Красавчики!

Ответить
Развернуть ветку
Саша Резник

Вы пишете про CTR, CPM и "других". Скажу без абсолютов, по моему опыту видос без хотя бы заголовка в объяве или в самом видео (вы кстати текст в видосах анализируете?) — будет иметь CTR хуже, чем объява с текстом (не важно описании или в видосе).

Если разговор про FB, то CPM прямое следствие CTR, хотя конечно лукавлю, раньше это был еще и релеванс скор. Теперь и он разбит на 3 части.

Ребята, без обид, но реально как-то попахивает волшебной таблеткой для горе маркетологов, которые не делают перформанс маркетинг а откручивают клиентские бюджеты и потом приносят на стол отчет "в этом месяце возрос CTR и получено ХХХХ лайков и YYYY кликов, цель достигнута, коллеги, продолжаем клепать видео и экономить на экспериментах".

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

Сразу видно опыт набитый бессонными ночами проведенными в бизнесс менеджере =) 
Точно подмечено, CTA в видео достаточно сильно влияет на CTR. И, да, мы умеем определять его и текст в видео(пока без смысловой нагрузки — это тоже очень интересно). Так что маркетологи, которым важна конверсия тоже могут с нами поработать с пользой для себя. 

Ответить
Развернуть ветку
Саша Резник

Ребята, пускай все получится. Если это реально будет хоть кому-то полезно, то значит вы запилили хорошую штуку, а это всегда лучше, чем не запилить хорошую штуку.

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

"But I tried, didn't I? Goddamnit, at least I did that" 
=)

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

Спасибо! 

Ответить
Развернуть ветку
Максим Прохоров

Бюджет на тестирование креативов настолько меньше реальных перформанс кампаний, что любая погрешность данного сервиса выйдет гораздо дороже для бизнеса, зачем рисковать?

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

А сколько креативов в неделю вы тестируете?

Ответить
Развернуть ветку
Максим Прохоров

В среднем 10-20

Ответить
Развернуть ветку
AdAurum 79

Насколько поняли под эффективностью, в данном случае, подразумевается "CTR". Тогда интересно было бы проверить Ваш сервис следующим образом: загрузить туда нормальные ролики и те, которые гарантированно не пройдут модерацию по причине содержания. Если сервис однозначно отдаст предпочтение заблокированным - он действительно умеет "гадать". Есть кейсы? )

Ответить
Развернуть ветку
Alexander Fedorenko
Автор

CTR это одна из опций. В рамках теста мы пробуем несколько вариантов. 

Кейсов с заблокированным контентом нет. Можем попробовать, у вас есть такие креативы?

Ответить
Развернуть ветку
22 комментария
Раскрывать всегда