{"id":14262,"url":"\/distributions\/14262\/click?bit=1&hash=8ff33b918bfe3f5206b0198c93dd25bdafcdc76b2eaa61d9664863bd76247e56","title":"\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u0435 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0434\u043e 1,5 \u043c\u043b\u043d \u0440\u0443\u0431\u043b\u0435\u0439","buttonText":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","imageUuid":"726c984a-5b07-5c75-81f7-6664571134e6"}

Инженеры из университета в Чикаго создали сервис для защиты фотографий от распознавания лиц — он уже «обманул» Amazon Статьи редакции

Они рассчитывают, что пользователи массово начнут менять фотографии перед загрузкой в сеть, чтобы «отравить» базы данных систем распознавания.

Компьютерные инженеры из Чикагского университета разработали инструмент Fawkes, который маскирует фотографии для защиты от систем распознавания лиц, сообщает The New York Times.

Для этого Fawkes меняет — или «маскирует», как говорят создатели инструмента — изображение на уровне пикселей, объясняет издание. За месяц программное обеспечение скачали больше 50 тысяч раз с сайта для разработчиков.

The New York Times

В ходе испытаний исследователи смогли обмануть системы распознавания лиц от Amazon, Microsoft и китайской технологической компании Megvii. Однако изменения видны невооружённым глазом, утверждает The New York Times.

Слева — оригинальная фотография редактора The New York Times, справа — «замаскированная» версия The New York Times

Сейчас исследователи работают над бесплатной версией для пользователей без навыков программирования, пишет издание.

Приложение предназначено для широкого пользования, чтобы «отравить точность» баз данных, собираемых системами распознавания лиц в интернете, говорят создатели.

Исследователи рассчитывают, что в идеале люди начнут маскировать все загружаемые в интернет изображения. Тогда компании вроде Clearview не смогут создавать работоспособную базу данных, потому что реальная фотография человека не будет соответствовать образцу в «отравленной» базе.

«Наша цель — заставить Clearview уйти», — заявил Бен Чжао, профессор информатики в Чикагском университете.

Стартап Clearview AI собирает «миллиарды» фотографий в интернете для создания базы, которую используют частные компании, полиция и другие организации, напоминает издание.

0
73 комментария
Написать комментарий...
Кирилл Костромин

Прекрасно
Новый софт, который маскирует незначительные признаки, но оставляет важные признаки, по которым люди узнают людей.
Он прекрасно пополнит базы для обучения ML моделей, чтобы они стали еще лучше работать.

Ответить
Развернуть ветку
Алексей Смолярчук

Можешь объяснить, что именно она делает языком математики? Я пойму.

Ответить
Развернуть ветку
Кирилл Костромин

Я, к сожалению, не специалист, знаю только общие принципы.
К тому же у нейросетей есть разные архитектуры.
Но попробуем.

Для обработки изображений в базовом варианте обычно используются сверточные нейронные сети.
Работают так - есть ряд масок (3*3/5*5), в которых закодированы различные признаки (например, что эта область - цвета кожи - все пиксели одного цвета, либо что эта область - граница темного и светлого, где темное - снизу)
Маски проводят по всему изображению (по каждому пикселю и соседним) и получают несколько новых изображений, условно "маска вертикальных краев", "маска тонких горизонтальных линий", "маска областей цвета кожи", "маска областей цвета волос". Так как маски генерируются автоматически в процессе обучения, сказать что там внутри наверняка бывает крайне сложно.
Из этих масок получают другие маски, меньшего разрешения, но хранящие более сложные признаки. Условно если в определенной области есть цвет кожи, а в области выше - граница, а еще выше - цвет волос, то с большой вероятностью это лоб. А если область имеет типичный цвет глаз, а вокруг - границы сложной формы - весьма вероятно, что это глаз. Эта сеть по сути в своих коэффициентах хранит статистическую значимость различных признаков в изображении и умеет их выделять. На выход подаются маски со сложными признаками, условно "носастость", "глазастость", "скуластость", "волосатость". Опять же, внутри тяжело сказать точно, что происходит, потому что коэффициенты получены автоматически на обучении на куче картинок, где сеть сама находила, что вот эти наборы признаков - важны, потому что повторяются в куче картинок, а вот эти - не важны, потому что на разных картинках разные.
После этого на этих масках (их тоже часто еще как то обрабатывают - уменьшают по разнешению, режут, смешивают признаки и т.д) работает уже полносвязная нейронная сеть/сети - на вход подаются все пиксели масок признаков, на выходе - подсвеченные признаки.
Примерно так работают сети, определяющие наличие на картинке лица и, к примеру, определяющие позицию глаз на них.
К стыду своему не знаю, как именно работают сети, которые ищут похожих людей, но подозреваю, что они просто находят на фотке точный овал лица, а потом находят на нем кучу коэффициентов, которые характерны для этого лица.
И у одного человека эти коэффициенты очень близки, у разных - различны (а на сотне коэффициентов даже с семимиллиардным населением земли у каждого непохожего человека будут разные коэффициенты)
Остается только найти все фотки, у которых коэффициенты совпадают на определенный пороговый %

В ходе обучения сеть ориентируется не на те признаки, которые для нас важны, а на те, которые сама статистически получила важными. Они могут быть очень специфическими. Зная, как работают маски низкого уровня, можно добавлять специальный шум, который сильно портит базовые маски признаков, из них, соответственно, тяжело вытащить последующие признаки и собрать финальный результат. Естественно это работает только для таких видов шума, которые заметны сетям и не заметны нам (иначе мы тоже будем видеть этот шум и фотка будет испорченной). И для определенных алгоритмов, популярных сейчас.
Если модифицировать сетки на другие алгоритмы и обучить с учетом вот таких шумов - они найдут другие признаки и обучатся на них. Чтобы испортить уже их, нужно будет исказить фотографию так, чтобы ее не мог узнать и человек.

Ответить
Развернуть ветку
Dmitry Myachin

http://people.cs.uchicago.edu/%7Eravenben/publications/pdf/fawkes-usenix20.pdf

Добавляет наборы пикселей, которые считаются характерными признаками и начинают учитываться при распознавании. А так так как отличить пиксели "честные" от добавленных нельзя, то и игнорировать их не получится.

Ответить
Развернуть ветку
70 комментариев
Раскрывать всегда