{"id":14195,"url":"\/distributions\/14195\/click?bit=1&hash=291794e344824c93d14ee572f65a93982fcbd2621dc1bce63db74c06ec203e98","title":"\u0422\u0430\u0439\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u043f\u043e\u0434\u0430\u0440\u043e\u043a \u0438 \u043d\u0435 \u0441\u043f\u0430\u043b\u0438\u0442\u044c\u0441\u044f","buttonText":"\u041a\u0430\u043a?","imageUuid":"1347cd9b-ea75-560f-b0f7-09065a9c55c9"}

Konstantin Karpov

21 сен в 17:28 21 сен

Компьютерное зрение в рекламе

Персонализация рекламы по содержимому фотографий пользователей соцсетей от TargetFox: вызовы и перспективы

Идея

Идея персонализации рекламы по содержимому фотографий пользователей пришла ко мне еще в 2017 году, когда для Purina One (крупный бренд кормов для кошек) мы собрали чуть больше миллиона владельцев кошек разных пород из Москвы и Санкт-Петербурга и показали им рекламные креативы с теми породами кошек, которые были у их владельцев.

Первая персонализация рекламы по породам кошек

Результаты персонализации по породам животных для их владельцев поражали: CTR и CR был в 3-4 раза выше любых других вариантов таргетинга

Кстати, в 2022 году кампанию повторили и для собак, а еще использовали креативы, сгенерированные нейросетью Stable Diffusion.

Персонализация рекламы по породам собак

У каких креативов CTR выше?

У сгенерированных нейросетью животных по породам

У стоковых фотографий животных по породам

Одинаковый

Показать результаты

Переголосовать

Проголосовать

Дальше – больше, нашли пользователей с проблемами со зрением и понеслась...

Чтобы было больше разнообразных сегментов в значительных объемах, нужно было экстенсивно наращивать мощности и думать над оптимизацией железа.

Реализация 2022-2023

Повторив успех с кампанией по породам животных и рядом других сегментов,

мы узнали, как меняется индекс массы тела с возрастом, а в следующей статье расскажем, как сохранять ИМТ в норме дольше

Исследовать большие данные – полезно для здоровья ;-)

С января 2023 года по настоящее время

ежесуточно анализируется более 2 миллионов фотографий в социальных сетях

Каждая фотография словно через сито проходит через ансамбль нейросетей.

Например, если на фотографии есть один автомобиль, то мы отправляем ее в специализированную нейросеть, которая распознает марку, цвет и модель авто.

Если на фотографии есть один человек, то мы распознаем его пол, возраст и индекс массы тела, наличие очков для зрения и некоторые другие признаки.

Например, некоторые клиенты очень любят людей в белых халатах

Если на фотографии есть домашние животные, то мы отправляем их на уточнение породы.

Анализ сцены

После того, как у нас есть фотография и ее мета-данные, начинается самое интересное.

На всех фотографиях присутствует "лошадь", но есть нюанс...

И с этим нюансом могут разобраться только модераторы и другие нейросети, которые помогают кластеризировать мета-теги с фотографий в "сцены". Сцены позволяют точнее трактовать объекты, обнаруженные на фото: например, автомобиль на улице и внутри помещения чаще всего это разные предметы.

Дети могут играть в любые предметы, поэтому с их окружением нужно быть предельно аккуратным.

Самые популярные сцены:

В помещении,
На улице,
На отдыхе,
В музее,
Дети

И только после финальной обработки мы получаем "настоящих лошадей" на фотографиях пользователей.

В 2023

Умеем отличать горные и беговые лыжи, акустическую от электро-гитары,
Есть сегмент с ню-моделями и теми, кто играет в онлаин-слоты,
Знаем, кто занимается поледанс, а кто кушает королевских крабов,
3,5% фотографии – котики, а 7% – автомобили: мы знаем каждую марку и модель,
Точно знаем, кто пашет в спортзале, а у кого широкая кость.

Буду рад ответить на вопросы в комментариях и...

Перед уходом, не забудьте закрыть свои профили =)

От автора

3.4K показов

409 открытий

11 комментариев

Написать комментарий...