Как заблокировать навязчивую рекламу с помощью ИИ: кейс Sentinel

https://adblockplus.org
В закладки

Спустя всего четыре месяца после запуска проекта Sentinel искусственный интеллект уже научился распознавать навязчивую рекламу. Хочу рассказать вам, как этого удалось добиться и каких изменений стоит ждать в индустрии.

Блокировщики сегодня все еще применяют фильтры, которые сканируют код страницы, вычленяют из него рекламные элементы и блокируют или скрывают их. Уже в ближайшем будущем искусственный интеллект может кардинально изменить этот механизм, определяя рекламу по ее внешнему виду. Для этого используются алгоритмы компьютерного зрения - те же, что применяют в разработках беспилотных автомобилей. Пока ИИ умеет точно определять, какой контент является рекламой, а какой нет, в социальной сети Facebook. Но уже в перспективе научится делать это повсеместно.

С чем столкнулись разработчики

Если, например, при изучении иностранного языка, человеку требуются десятки примеров, чтобы запомнить какое-либо правило, то в случае с искусственным интеллектом речь идет уже о тысячах и даже миллионах образцов, на которых он будет обучаться. Поэтому главная сложность для любого подобного проекта - сформировать базу данных. В случае Sentinel разработчики собирали скриншоты с рекламными объявлениями из социальной сети Facebook. На это ушло примерно 85% времени, потраченного на проект. На одном из этапов присылать скриншоты с рекламой попросили даже самих пользователей. Тем не менее процесс занял больше времени, чем изначально предполагалось - социальная сеть оказалась не бесконечной и в какой-то момент разработчики собирали информацию быстрее, чем Facebook её обновлял.

Кроме того, большинство рекламодателей и площадок сегодня стремятся сделать свою рекламу нативной - максимально приблизить ее к естественному контенту и тем самым сделать менее раздражающей. В результате этого, например, в социальной сети Facebook и контент, и реклама выглядят практически идентично. Как правило, отличить одно от другого можно только с помощью лейблов “реклама”, “спонсорский материал” и аналогичных. В теории можно было бы сразу настроить искусственный интеллект так, чтобы он искал такого рода маркировку. Однако разработчикам проекта Sentinel было, в первую очередь, интересно натренировать алгоритм самостоятельно отличать рекламу от не рекламы и проследить, на что он будет при этом ориентироваться. Ведь человек способен понять, что это реклама, не только по маркировке, но и по некоторым другим косвенным признакам. Впрочем, когда ИИ все-таки научился искать рекламу на Facebook, выяснилось, что он определяет ее только по лейблам. То есть человек пока справляется с этой задачей лучше.

Зачем вообще блокировщикам ИИ?

Сегодня блокировка рекламы происходит с помощью фильтров и в условиях, где память ограничена (например, на мобильных устройствах), они нередко занимают больше памяти, чем нужно для бесперебойной работы устройства.. В этих случаях как раз могли бы помочь алгоритмы искусственного интеллекта, ведь их можно представить в памяти компактнее. Но здесь есть две сложности. Во-первых, пока текущий алгоритм хорошо научился распознавать рекламу только в социальной сети Facebook, и чтобы также успешно делать это на других платформах, ему понадобятся миллионы новых примеров. То есть разработчикам по сути потребуется сформировать новую базу для его тренировки. И заново начать процесс обучения. В перспективе также можно натренировать еще один алгоритм, который будет работать в паре с этим: один будет блокировать или прятать рекламу, а другой говорить ему, правильно ли выполнено действие.

А во-вторых, натренированную модель необходимо перенести на мобильные платформы. Что также требует определенных усилий. Это как раз то, над чем сейчас работает компания. Уже с нового года технологию планируется постепенно задействовать в реальных продуктах.

Кроме того, на данном этапе ИИ уже может совершенствовать имеющиеся фильтры. Он способен работать параллельно с фильтрами анализировать, вся ли реклама на странице блокируется. Уже сейчас бывает, что алгоритм уверен - какой-то элемент - реклама, и его нужно заблокировать, однако фильтры при этом его пропускают. Тогда мы проверяем это вручную, и бывает, что фильтры работают не совсем корректно.

Sentinel - это первый проект с использованием машинного обучения в Adblock Plus. Он позволил нам определиться, как именно мы будем использовать искусственный интеллект для блокировки навязчивой рекламы, и запустить несколько следующих проектов. Хотя сам Sentinel как алгоритм ИИ может и не получит продолжения. Забавно, но обучив его распознавать рекламу в Facebook, мы пришли к тому, что для этого в общем-то не нужно использовать машинное обучение. Достаточно просто научить алгоритм находить маркировки, которые используются для обозначения рекламного контента. И сейчас мы как раз формируем базу таких лейблов.

https://adblockplus.org

Что дальше?

Сегодня блокировщики по большей части используют уже готовые алгоритмы и технологии, иногда такие же как применяются в беспилотных автомобилях, например, для распознавания светофоров и других машин на дороге. А потому в том, как искусственный интеллект внедряют в автомобили, можно усмотреть некоторые параллели с тем, что сейчас происходит с блокировщиками навязчивой рекламы.

Процесс создания машин без водителей традиционно принято делить на пять этапов. На нулевом искусственный интеллект еще никак не применяется. На первом этапе появляются некоторые функции, которые лишь отчасти помогают людям водить. На втором - работает гибридная система, где некоторые решения принимает машина, а некоторые - человек. На третьем этапе искусственный интеллект уже отвечает за полный набор функций в управлении автомобилем в ограниченном наборе сценариев. На четвертом - машина способна ездить автономно, однако человек все еще осуществляет контроль для «подстраховки». И наконец, на пятом этапе мы имеем беспилотные автомобили. Отрасль на данный момент находится где-то на третьем уровне. В то время как блокировщики рекламы пока, скорее, между первым и вторым уровнем. Они уже помогают людям создавать фильтры и даже могут в некоторых случаях блокировать навязчивую рекламу - как, например, Sentinel распознает объявления в Facebook. Но при этом все понимают, что достичь пятого этапа - чтобы всю блокировку рекламы осуществлял искусственный интеллект и у людей не было необходимости постоянно писать и обновлять фильтры - вряд ли удастся в ближайшие пару лет.

К тому же здесь есть и своего рода этический вопрос. Применение алгоритмов для формирования ленты в Facebook уже вызвало немало нареканий со стороны пользователей. Людям чаще всего не нравится, когда что-то за них решает искусственный интеллект.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Олександр Параска", "author_type": "self", "tags": [], "comments": 0, "likes": 8, "favorites": 4, "is_advertisement": false, "subsite_label": "life", "id": 51092, "is_wide": false, "is_ugc": true, "date": "Fri, 16 Nov 2018 16:12:34 +0300" }
{ "id": 51092, "author_id": 222558, "diff_limit": 1000, "urls": {"diff":"\/comments\/51092\/get","add":"\/comments\/51092\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/51092"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199123, "possessions": [] }

Комментариев нет 0 комм.

Популярные

По порядку

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Голосовой помощник выкупил
компанию-создателя
Подписаться на push-уведомления
{ "page_type": "default" }