Забота или слежка: почему критикуют решение Apple проверять откровенные снимки в iMessage и iCloud для защиты детей Статьи редакции

Компания обещает защищать детей, а исследователи считают, что технологию легко масштабировать для цензуры и слежки за людьми.

5 августа Apple объявила, что расширит функции для защиты детей на всех своих операционных системах:

• Компания будет сканировать отправляемые фото в iCloud на материалы с сексуальным насилием над детьми — ограничивать распространение таких изображений и передавать информацию о пользователях правоохранительным органам.
• Размывать откровенные снимки в iMessage и уведомлять родителей о получении и отправке откровенных фотографий в переписках детей.
• В Siri и «Поиске» появятся дополнительные руководства о безопасности.

Компания объясняет изменения «защитой детей от хищников, которые используют средства коммуникации для привлечения и эксплуатации».

Financial Times подчеркивает, что Apple таким образом пытается найти компромисс между обещанием защищать приватность пользователей и постоянными требованиями правительств, организаций по защите детей и силовыми структурами.

От компании требуют, чтобы она больше помогала в расследовании уголовных дел, в том числе связанных с детской порнографией и терроризмом».

Новая технология в iOS 15 и macOS позволит бороться с распространением контента с сексуальным насилием над детьми (Child Sexual Abuse Material, CSAM), утверждает Apple.

• На устройстве пользователя хранится база хеш-сумм (цифровых отпечатков) изображений CSAM, которые предоставил Национальный Центр для пропавших и эксплуатируемых детей и другие организации (National Center for Missing and Exploited Children, NCMEC).
• Когда пользователь выгружает фотографии в облако iCloud, система сверяет их хеш-суммы с базой CSAM. Сравнение работает на криптографической технологии «пересечения приватных наборов» — она проводит сравнение не выдавая результат.
• Система создает безопасный криптографический ваучер, который расшфровывает результаты сравнения вместе с другими данными о фото и выгружает его в iCloud вместе с изображением.
• Если система зафиксировала совпадение хешей и набралось определенное количество подозрительных снимков, сотрудники Apple будут вручную проверять каждый случай. Они не смотрят само фото, а лишь видят некоторые элементы, которые позволяют понять, есть совпадение с известной CSAM или нет.
• Если совпадения подтвердятся, Apple заблокирует учетную запись пользователя и передаст данные в NCMEC и в правоохранительные органы.
• Пользователь может оспорить блокировку, если считает, что это ошибка.
• Apple утверждает, что система будет выдавать меньше одного из триллиона ложных результатов за год.

• В мессенджере на iOS 15, watchOS 8 и macOS Monterey появится инструмент для определения откровенных фотографий с помощью машинного обучения. Алгоритмы будут локально сканировать фотографии и распознавать сексуальный контент — Apple утверждает, что не получит доступа к этим данным.
• Если ребёнок младше 13 лет хочет отправить кому-то сообщение с откровенным контентом или ему отправят таковое, iMessage автоматически размоет изображение, а ребенок увидит предупреждение, что его родители получат уведомление о содержимом снимка.
• Ребенок может отказаться от просмотра сообщения с откровенным содержимым. Если же он соглашается с отправкой уведомления родителям, изображение сексуального характера будет сохранено на устройстве в защищенной папке в разделе «Родительского контроля». Ребенку будет запрещено его удалять.
• Для детей в возрасте от 13 до 17 лет появится аналогичное предупреждение, но без уведомления родителей.

• Apple также начнёт лучше предупреждать и обучать юных пользователей систем и их родителей о том, как лучше вести себя в небезопасных ситуациях.
• Siri и «Поиск» вмешаются, когда пользователи попытаются найти связанные с CSAM данные — система объяснит, что это проблемные и болезненные темы, и предложит почитать о них подробнее.
• Siri также начнёт предлагать дополнительную информацию детям и родителям о том, как реагировать на эксплуатацию детей и сексуальное насилие. Например, если пользователи спросят голосового ассистента, как сообщить о CSAM, то их направят на соответствующие сайты.

Новые функции станут доступны осенью 2021 года, Apple обещает со временем расширить ресурсы для защиты детей.

Также компания предоставила подробную документацию о нововведениях: выжимку об использовании технологий, протоколы безопасности, и независимые технические консультации экспертов.

Некоторые активисты и исследователи в области безопасности данных отмечают несколько проблем, связанных с идеей Apple, которые делают её потенциально опасной.

Среди критиков — профессор проектирования безопасности Кембриджского университета Росс Андерсон и эксперт по безопасности Мэтью Грин, а также «Фонд электронных рубежей».

Какие аргументы они приводят :

• Внедрение систем анализа фото сравнивают с законным бэкдором внутри устройства: это возможность следить за миллионами устройств и получить доступ к личным данным пользователей со стороны властей в тоталитарных странах.

• Системы анализа Apple работают на изображения сексуального характера, но их легко натренировать и на другие виды содержимого, утверждает «Фонд электронных рубежей».

• Функция анализа сообщений в iMessage устроена таким образом, что если один несовершеннолетний с отключенной функцией отправит фото другому несовершеннолетнему, у которого она включена, то родители получателя будут уведомлены об этом — без согласия отправителя на их участие.
• Алгоритмы машинного обучения могут ошибочно классифицировать контент, как «сексуально откровенный». Такое происходило с Tumblr и Facebook, когда платформы блокировали изображения щенков, статуй и селфи одетых людей. Это может быть чревато ложными обвинениями в педофилии, считают пользователи.
• Функцию анализа переписки в iMessage можно использовать как сталкерское ПО, а сканирование снимков и их сохранение без возможности удаления может грозить сливами фото в открытый доступ.

Исследователи Microsoft Research в 2009 году представили технологию PhotoDNA. Она позволяет идентифицировать CSAM с помощью уникальных хешей, которые сравнивают с базой из 300 тысяч хешей примеров детской порнографии от Британского фонда наблюдения за интернетом. Основное её отличие от технологии Apple — проверка хешей происходит не на устройстве пользователя, а в облаке.

PhotoDNA работает как с фото, так и видео, которые разбивает на отдельные кадры. Её используют как собственные службы Microsoft, включая Bing и OneDrive, так и Google, Gmail, Twitter, Facebook, Adobe, Reddit, Discord и более 200 других организаций.

В 2016 году технологию доработали для борьбы с экстремистским контентом, например, для автоматического удаления видеороликов «Аль-Каиды» из соцсетей.

В 2018 году Microsoft сообщала, что с помощью PhotoDNA создается около 90% расследований, посвященных публикации материалов сексуального насилия над ребенком. Данные предоставляет национальный центр по делам пропавших без вести и эксплуатируемых детей CyberTipline MCMEC.

В 2019 году Facebook сообщала о 15 млн совпадений изображений с базой хешей, а Dropbox — о 21 тысяче в 2020 году.

Технология позволяет удалять миллионы изображений, ловить педофилов, а в некоторых случаях спасти потенциальных жертв до того, как им был нанесён вред, утверждает Microsoft.

#apple #ios #macos #microsoft