Без A/B-теста: как Insense тестирует модель, которая предсказывает эффективность видео в платной рекламе
На основе данных о показателях в paid media — например, CTR, CPM и других.
Расскажем, как мы в Insense создаём продукт, аналогов которому нет, и для чего мы это делаем.
Проблема рекламодателей
Начнём со статистики — 62% пользователей заходят в интернет со смартфона, а значит, большую часть рекламы потребляют именно с мобильного устройства. Время контакта с телефонным экраном самое большое по сравнению с ТВ, десктопом и другими устройствами. Это первое, что человек видит утром, и последнее — перед сном. Очевидный факт, но не всё так просто.
Большие бренды до сих пор снимают рекламу по старым лекалам — ориентируясь на ТВ. На это уходят большие бюджеты — минимум 10 млн рублей. После этого готовую коммуникацию передают в оплаченную рекламу в социальных сетях, и она чаще всего не работает: об этом говорят показатели CTR и CPM (показатель кликабельности и стоимость рекламы за тысячу показов). Это происходит отчасти потому, что ответственная за paid команда не влияет на креатив и на финальный результат.
Изменился способ потребления контента, но не все к этому адаптировались, и продолжают работать по старым правилам. И мы решили создать продукт, который поможет брендам производить рекламу, работающую в paid.
Что мы сделали
Мы создали модель, которая определяет, как рекламное видео отработает в paid — плохо, средне или хорошо. Для этого нужно загрузить в модель до пяти роликов, она проанализирует их по нескольким критериям и выдаст прогноз по эффективности видео. Больше не нужен A/B-тест — можно экономить, не запуская лишние ролики в paid.
Сейчас модель показывает точность на 83%, но мы постоянно её дообучаем, поэтому к запуску прогноз будет точнее. Также в будущем появится возможность дообучить модель под конкретного клиента — а это ещё больше повысит точность.
После оценки можно забирать ролики с оценкой «хорошо» и запускать рекламные кампании, которые эффективно отработают.
После бесконечного числа проб и ошибок нам удалось найти ряд признаков, которые влияют на итоговую оценку. Делиться ими пока не будем, но можем сказать, что глазу они почти незаметны.
Сейчас уже на этапе теста можно проверить эффективность ролика — запустить хорошую по оценке модели рекламную кампанию в Facebook и наблюдать за работой прогноза. На прогноз можно положиться: модель беспристрастна. А вот человек не всегда может оценить эффективность креатива — даже если ролик нравится визуально, в paid он может отработать плохо.
Будущее проекта
В будущем мы расширим функционал модели, чтобы она могла не только оценивать потенциальный успех ролика, но и давать рекламодателям рекомендации, что улучшить.
Мы видим проект как систему, которая помогает создавать креатив, работающий в платных каналах для любых задач бренда. Например, компании нужно повысить узнаваемость бренда — тогда мы дообучим модель под показатель CPM.
- Дата запуска: декабрь 2020 года.
- География проекта: преимущественно США, но и в России ведём переговоры.
- Стоимость: в процессе разработки.
- Что происходит сейчас: тест модели для выявления ошибок и согласование первых пилотов с клиентами в США.
Не совсем понятно - если ролики уже есть, в чем сложность залить их в fb и проверить эффективность уже на реальных людях? Затем выбрать лучшие по целевым показателям и замасштабить. Стоимость теста 100–500 баксов и 1-2 дня для точного результата.
Почему я должен верить вашему алгоритму, а не своей ЦА?
Стоимость теста 100–500 баксов и 1-2 дня для точного результа
Всё так. Но, есть есть бренды, которые ежедневно запускают от 10 тестов и тратят не $500, а сильно больше. Для них алгоритм поможет очень быстро накопить на новую Теслу.
Почему я должен верить вашему алгоритму, а не своей ЦА?
Как раз сейчас мы с несколькими крупными игроками тестируем алгоритм. Как только снизим ошибки по прогнозам до приемлемых цифр, ему точно можно будет верить, так как ЦА там тоже учитывается.
А дальше будем надеяться на наших ребят из маркетинга =)
Я думаю те, кто тратят на рекламу сильно больше 500 в день не размышляют критерием "накопить". Если 500 — это все же кумулятивная цифра на 10 тестов, то 50 на тест это не деньги которые нужно стараться экономить проверяя гипотезу.
Еще еще момент — не все то видео, что не работает. Иногда бывает стремный креатив заходит на правильный таргет и все работает.
Поверь, крупняк только «за» будет сэкономить деньги на тест.
Также в статье сказано, что ии проверяет не стремность, а то, что не заметно человеку
Проект, как минимум, интересный. За их результаты пока не могу ничего говорить :)
После вашего коммента сразу уверовал
Ну вот да. Тут согласен. На ролики уходит много сил и энергии. Сложно представить что я сделал ролик, залил его в сервис и решил от них отказаться.
вот тут мы как раз и наблюдаем такую ситуацию - отказаться сложно, а результаты перформанса совсем не радуют. Но мы этот же алгоритм сейчас тестируем внутри платформы, когда создается ролик клиентом с помощью наших фрилансеров-видео продюссеров. Показываем Score, скоро еще и рекомендации.
Комментарий недоступен
Майк, спасибо за комментарий.
Всё так, таргет сейчас большие ребята с значительным объёмом закупок.
Звучит, как волшебная таблетка или магический шар гадалки.
Если это одни и те же «признаки эффективности», которые определяет ваш сервис, и которые почему-то никто кроме вас не обнаружил, то рано или поздно они станут доступны всем и сервис станет бессмысленным. Если эти признаки меняются, тогда достоверно определить, актуален этот признак, или нет, не представляется возможным.
Звучит, как волшебная таблетка или магический шар гадалки.
Звучит, возможно. По факту математика и немного магии =)
Почему нет аналогов и почему повторить сразу не получится
Мы на этом не собираемся останавливаться, это только первая часть нашего продукта, но даже это повторить будет непросто, так как нужно собрать большой датасет (десятки тысяч роликов), с нужными метриками. А потом еще вся эта магия и пляски с признаками.
Идея ничего не стоит без реализации.
У Яндекса есть алгоритм прогнозирования погоды Метеум. Признаки всем известны. Больше никто такого до сих пор не реализовал. Как думаете - почему?
Какого?:))
Прогнозирование погоды на основании мат модели по данным из прошлого
Красавчики!
Вы пишете про CTR, CPM и "других". Скажу без абсолютов, по моему опыту видос без хотя бы заголовка в объяве или в самом видео (вы кстати текст в видосах анализируете?) — будет иметь CTR хуже, чем объява с текстом (не важно описании или в видосе).
Если разговор про FB, то CPM прямое следствие CTR, хотя конечно лукавлю, раньше это был еще и релеванс скор. Теперь и он разбит на 3 части.
Ребята, без обид, но реально как-то попахивает волшебной таблеткой для горе маркетологов, которые не делают перформанс маркетинг а откручивают клиентские бюджеты и потом приносят на стол отчет "в этом месяце возрос CTR и получено ХХХХ лайков и YYYY кликов, цель достигнута, коллеги, продолжаем клепать видео и экономить на экспериментах".
Сразу видно опыт набитый бессонными ночами проведенными в бизнесс менеджере =)
Точно подмечено, CTA в видео достаточно сильно влияет на CTR. И, да, мы умеем определять его и текст в видео(пока без смысловой нагрузки — это тоже очень интересно). Так что маркетологи, которым важна конверсия тоже могут с нами поработать с пользой для себя.
Ребята, пускай все получится. Если это реально будет хоть кому-то полезно, то значит вы запилили хорошую штуку, а это всегда лучше, чем не запилить хорошую штуку.
"But I tried, didn't I? Goddamnit, at least I did that"
=)
Спасибо!
Бюджет на тестирование креативов настолько меньше реальных перформанс кампаний, что любая погрешность данного сервиса выйдет гораздо дороже для бизнеса, зачем рисковать?
А сколько креативов в неделю вы тестируете?
В среднем 10-20
Насколько поняли под эффективностью, в данном случае, подразумевается "CTR". Тогда интересно было бы проверить Ваш сервис следующим образом: загрузить туда нормальные ролики и те, которые гарантированно не пройдут модерацию по причине содержания. Если сервис однозначно отдаст предпочтение заблокированным - он действительно умеет "гадать". Есть кейсы? )
CTR это одна из опций. В рамках теста мы пробуем несколько вариантов.
Кейсов с заблокированным контентом нет. Можем попробовать, у вас есть такие креативы?