Компьютерное зрение в рекламе
Персонализация рекламы по содержимому фотографий пользователей соцсетей от TargetFox: вызовы и перспективы
Идея
Идея персонализации рекламы по содержимому фотографий пользователей пришла ко мне еще в 2017 году, когда для Purina One (крупный бренд кормов для кошек) мы собрали чуть больше миллиона владельцев кошек разных пород из Москвы и Санкт-Петербурга и показали им рекламные креативы с теми породами кошек, которые были у их владельцев.
Результаты персонализации по породам животных для их владельцев поражали: CTR и CR был в 3-4 раза выше любых других вариантов таргетинга
Кстати, в 2022 году кампанию повторили и для собак, а еще использовали креативы, сгенерированные нейросетью Stable Diffusion.
Дальше – больше, нашли пользователей с проблемами со зрением и понеслась...
Чтобы было больше разнообразных сегментов в значительных объемах, нужно было экстенсивно наращивать мощности и думать над оптимизацией железа.
Реализация 2022-2023
Повторив успех с кампанией по породам животных и рядом других сегментов,
мы узнали, как меняется индекс массы тела с возрастом, а в следующей статье расскажем, как сохранять ИМТ в норме дольше
С января 2023 года по настоящее время
ежесуточно анализируется более 2 миллионов фотографий в социальных сетях
Каждая фотография словно через сито проходит через ансамбль нейросетей.
Например, если на фотографии есть один автомобиль, то мы отправляем ее в специализированную нейросеть, которая распознает марку, цвет и модель авто.
Если на фотографии есть один человек, то мы распознаем его пол, возраст и индекс массы тела, наличие очков для зрения и некоторые другие признаки.
Если на фотографии есть домашние животные, то мы отправляем их на уточнение породы.
Анализ сцены
После того, как у нас есть фотография и ее мета-данные, начинается самое интересное.
На всех фотографиях присутствует "лошадь", но есть нюанс...
И с этим нюансом могут разобраться только модераторы и другие нейросети, которые помогают кластеризировать мета-теги с фотографий в "сцены". Сцены позволяют точнее трактовать объекты, обнаруженные на фото: например, автомобиль на улице и внутри помещения чаще всего это разные предметы.
Дети могут играть в любые предметы, поэтому с их окружением нужно быть предельно аккуратным.
Самые популярные сцены:
- В помещении,
- На улице,
- На отдыхе,
- В музее,
- Дети
И только после финальной обработки мы получаем "настоящих лошадей" на фотографиях пользователей.
В 2023
- Умеем отличать горные и беговые лыжи, акустическую от электро-гитары,
- Есть сегмент с ню-моделями и теми, кто играет в онлаин-слоты,
- Знаем, кто занимается поледанс, а кто кушает королевских крабов,
- 3,5% фотографии – котики, а 7% – автомобили: мы знаем каждую марку и модель,
- Точно знаем, кто пашет в спортзале, а у кого широкая кость.
Буду рад ответить на вопросы в комментариях и...
Перед уходом, не забудьте закрыть свои профили =)
Скачал презентацию, но не увидел полного списка сегментов.
Интересуют сегменты для ниш: стоматология, школа танцев, дизайн интерьера, кухни на заказ.
На нескольких слайдах в верхнем правом углу есть ссылка на Гугл-таблицу)
Стоматология — зубы — это маленькие объекты, чтобы найти на них дефекты, да и мало кто с проблемными зубами выкладывает их фотографии,
Школа танцев — зависит от направления и уровня, но в целом сложно или невозможно соединить информацию на фотографиях людей с желанием заниматься танцами и выбором школы здесь и сейчас,
Дизайн интерьера и кухни на заказ — всего 4000 человек во всем ВК ежемесячно выкладывают фотографии процесса ремонта своих квартир и домов, вероятно, кухни на заказ этому сегменту подойдут, а вот с дизайном интерьера справятся другие таргетинги по поисковому спросу.
А почему "пока без хорошего конца")