Забота или слежка: почему критикуют решение Apple проверять откровенные снимки в iMessage и iCloud для защиты детей
Компания обещает защищать детей, а исследователи считают, что технологию легко масштабировать для цензуры и слежки за людьми.
5 августа Apple объявила, что расширит функции для защиты детей на всех своих операционных системах:
- Компания будет сканировать отправляемые фото в iCloud на материалы с сексуальным насилием над детьми — ограничивать распространение таких изображений и передавать информацию о пользователях правоохранительным органам.
- Размывать откровенные снимки в iMessage и уведомлять родителей о получении и отправке откровенных фотографий в переписках детей.
- В Siri и «Поиске» появятся дополнительные руководства о безопасности.
Компания объясняет изменения «защитой детей от хищников, которые используют средства коммуникации для привлечения и эксплуатации».
Financial Times подчеркивает, что Apple таким образом пытается найти компромисс между обещанием защищать приватность пользователей и постоянными требованиями правительств, организаций по защите детей и силовыми структурами.
От компании требуют, чтобы она больше помогала в расследовании уголовных дел, в том числе связанных с детской порнографией и терроризмом».
Как Apple будет распознавать фото и кому передавать информацию
Анализ фото в iCloud
Новая технология в iOS 15 и macOS позволит бороться с распространением контента с сексуальным насилием над детьми (Child Sexual Abuse Material, CSAM), утверждает Apple.
- На устройстве пользователя хранится база хеш-сумм (цифровых отпечатков) изображений CSAM, которые предоставил Национальный Центр для пропавших и эксплуатируемых детей и другие организации (National Center for Missing and Exploited Children, NCMEC).
- Когда пользователь выгружает фотографии в облако iCloud, система сверяет их хеш-суммы с базой CSAM. Сравнение работает на криптографической технологии «пересечения приватных наборов» — она проводит сравнение не выдавая результат.
- Система создает безопасный криптографический ваучер, который расшфровывает результаты сравнения вместе с другими данными о фото и выгружает его в iCloud вместе с изображением.
- Если система зафиксировала совпадение хешей и набралось определенное количество подозрительных снимков, сотрудники Apple будут вручную проверять каждый случай. Они не смотрят само фото, а лишь видят некоторые элементы, которые позволяют понять, есть совпадение с известной CSAM или нет.
- Если совпадения подтвердятся, Apple заблокирует учетную запись пользователя и передаст данные в NCMEC и в правоохранительные органы.
- Пользователь может оспорить блокировку, если считает, что это ошибка.
- Apple утверждает, что система будет выдавать меньше одного из триллиона ложных результатов за год.
Анализ iMessage
- В мессенджере на iOS 15, watchOS 8 и macOS Monterey появится инструмент для определения откровенных фотографий с помощью машинного обучения. Алгоритмы будут локально сканировать фотографии и распознавать сексуальный контент — Apple утверждает, что не получит доступа к этим данным.
- Если ребёнок младше 13 лет хочет отправить кому-то сообщение с откровенным контентом или ему отправят таковое, iMessage автоматически размоет изображение, а ребенок увидит предупреждение, что его родители получат уведомление о содержимом снимка.
- Ребенок может отказаться от просмотра сообщения с откровенным содержимым. Если же он соглашается с отправкой уведомления родителям, изображение сексуального характера будет сохранено на устройстве в защищенной папке в разделе «Родительского контроля». Ребенку будет запрещено его удалять.
- Для детей в возрасте от 13 до 17 лет появится аналогичное предупреждение, но без уведомления родителей.
Новые руководства безопасности и подсказки детям в iOS 15
- Apple также начнёт лучше предупреждать и обучать юных пользователей систем и их родителей о том, как лучше вести себя в небезопасных ситуациях.
- Siri и «Поиск» вмешаются, когда пользователи попытаются найти связанные с CSAM данные — система объяснит, что это проблемные и болезненные темы, и предложит почитать о них подробнее.
- Siri также начнёт предлагать дополнительную информацию детям и родителям о том, как реагировать на эксплуатацию детей и сексуальное насилие. Например, если пользователи спросят голосового ассистента, как сообщить о CSAM, то их направят на соответствующие сайты.
Новые функции станут доступны осенью 2021 года, Apple обещает со временем расширить ресурсы для защиты детей.
Также компания предоставила подробную документацию о нововведениях: выжимку об использовании технологий, протоколы безопасности, и независимые технические консультации экспертов.
Какие вопросы есть к решению Apple
Некоторые активисты и исследователи в области безопасности данных отмечают несколько проблем, связанных с идеей Apple, которые делают её потенциально опасной.
Среди критиков — профессор проектирования безопасности Кембриджского университета Росс Андерсон и эксперт по безопасности Мэтью Грин, а также «Фонд электронных рубежей».
Какие аргументы они приводят :
- Внедрение систем анализа фото сравнивают с законным бэкдором внутри устройства: это возможность следить за миллионами устройств и получить доступ к личным данным пользователей со стороны властей в тоталитарных странах.
Эти инструменты могут нести благо для поиска детской порнографии, но представьте, что они могут сделать в руках авторитарного государства?
Возможность добавления подобных сканирующих систем в мессенджеры со сквозным шифрованием были основным запросом правоохранительных органов по всему миру.
Apple начала с фотографий, которыми люди уже поделились с облаком — это не «вредит» конфиденциальности. Но зачем кому-то разрабатывать подобную систему, если её целью не станет сканирование шифрованных фотографий?
Даже если Apple не будет злоупотреблять своими возможностями, есть о чем беспокоиться. Эти системы полагаются на базу данных хешей, которую пользователи не могут посмотреть, и они ничего не знают об алгоритмах.
Что будет, если кто-то отправит безобидный медиафайл, который совпадёт с хешем известного файла детского порно?
- Системы анализа Apple работают на изображения сексуального характера, но их легко натренировать и на другие виды содержимого, утверждает «Фонд электронных рубежей».
Apple создала лазейку, которая только и ждёт, что внешнее давление [со стороны властей] расширит её для поиска дополнительных видов контента или сканирования переписки не только детей, но и взрослых.
Например, в Индии приняты правила, по которым платформам необходимо определять источник сообщений и предварительно анализировать его. В Эфиопии есть закон, который заставляет удалять «дезинформацию» в течение 24 часов, такие же законы есть в других странах.
Легко представить, как Apple заставляют изменить систему, чтобы та определяла ЛГБТ-контент, популярные сатирические картинки или протестные листовки.
Уже есть примеры, как это работает. Одна из технологий для сканирования хешей изображений сексуального насилия над детьми была переделана для борьбы с «террористическим контентом».
Но она закрыта, и невозможно определить, не перегнули ли в ней палку. Ведь платформы регулярно называют «терроризмом» публикации о насилии в стране, политическую сатиру, расследования и другие важные вещи.
- Функция анализа сообщений в iMessage устроена таким образом, что если один несовершеннолетний с отключенной функцией отправит фото другому несовершеннолетнему, у которого она включена, то родители получателя будут уведомлены об этом — без согласия отправителя на их участие.
- Алгоритмы машинного обучения могут ошибочно классифицировать контент, как «сексуально откровенный». Такое происходило с Tumblr и Facebook, когда платформы блокировали изображения щенков, статуй и селфи одетых людей. Это может быть чревато ложными обвинениями в педофилии, считают пользователи.
- Функцию анализа переписки в iMessage можно использовать как сталкерское ПО, а сканирование снимков и их сохранение без возможности удаления может грозить сливами фото в открытый доступ.
Microsoft разработала в 2009 году подобную технологию определения детской порнографии — её используют Twitter, Facebook, Google, Reddit и другие
Исследователи Microsoft Research в 2009 году представили технологию PhotoDNA. Она позволяет идентифицировать CSAM с помощью уникальных хешей, которые сравнивают с базой из 300 тысяч хешей примеров детской порнографии от Британского фонда наблюдения за интернетом. Основное её отличие от технологии Apple — проверка хешей происходит не на устройстве пользователя, а в облаке.
PhotoDNA работает как с фото, так и видео, которые разбивает на отдельные кадры. Её используют как собственные службы Microsoft, включая Bing и OneDrive, так и Google, Gmail, Twitter, Facebook, Adobe, Reddit, Discord и более 200 других организаций.
В 2016 году технологию доработали для борьбы с экстремистским контентом, например, для автоматического удаления видеороликов «Аль-Каиды» из соцсетей.
В 2018 году Microsoft сообщала, что с помощью PhotoDNA создается около 90% расследований, посвященных публикации материалов сексуального насилия над ребенком. Данные предоставляет национальный центр по делам пропавших без вести и эксплуатируемых детей CyberTipline MCMEC.
В 2019 году Facebook сообщала о 15 млн совпадений изображений с базой хешей, а Dropbox — о 21 тысяче в 2020 году.
Технология позволяет удалять миллионы изображений, ловить педофилов, а в некоторых случаях спасти потенциальных жертв до того, как им был нанесён вред, утверждает Microsoft.
да баян уже
Почему у тебя не iPhone? Ты, что подофил?
На устройстве пользователя хранится база хеш-сумм (цифровых отпечатков) изображений CSAM, которые предоставил Национальный Центр для пропавших и эксплуатируемых детей и другие организации (National Center for Missing and Exploited Children, NCMEC).
Отлично, спасибо, этого мне на телефоне и не хватало
Ваш телефон уже ещё давно был не только Ваш
- закладки в процессорах
- гарантированные точки подключения профильных служб в нужный момент внутри устройства
- средства получения доступа/контроля над устройством когда оно выключено
- средства телеметрии (масса статистической информации) которые прописаны и/или не прописаны в пользовательском соглашении пользователя устройства
- навязанные возможности получать биометрические данные опосредованно через включённый микрофон, камеру и т.п. с последующим изучением и фиксацией голоса, внешности владельца, его привычек по времени использования устройства, геолокации, активности на разных сайтах (это не совсем биометрия, скорее социальная биометрия, термин не устоявшийся, только что в голову пришёл)
- отдельно стоит отметить, что очень много денег получают браузеры от поисковых систем (на чём и живут, кстати) отправляя данные о посещаемых Вами сайтах (поскольку это, технически выходит за рамки очевидного поля зрения поисковой системы) позволяя обеспечить пользователю браузера т.н. защиту от мошеннических сайтов, прогоняя её по базе мошеннических (например фишинговых, заражённых и т.п.) сайтов, но не ограничиваясь этим, и мобильные версии, думаю не исключение
с уважением
Вы получили это письмо потому что наша команда бигдата проанализировала ваш писос и охуела как вы с таким живете вообще стыдоба
"С добром и злом тоже начались проблемы — от имени добра стали говорить такие хари, что люди сами с удовольствием официально записывались во зло."
Пелевин.
По морально этическим соображениям не пользуюсь продукцией Apple.