Apple усилит защиту детей — начнёт размывать откровенные снимки в «Сообщениях», проверять iCloud и предупреждать в Siri Статьи редакции
Компания будет проверять контент прямо на устройствах с помощью нейросетей, натренированных на распознавание сексуальных снимков.
Apple объявила о расширении функций для защиты детей на всех своих операционных системах — iOS, iPadOS, macOS и watchOS. Компания начнёт размывать откровенные снимки в «Сообщениях», предупреждать родителей о получении и отправке сексуальных фотографий, сканировать контент в iCloud и добавит руководства для безопасности в Siri.
Компания пояснила, что хочет защитить детей от «хищников, которые используют средства коммуникации для привлечения и эксплуатации». Для этого Apple внедряет новые опции в трёх областях: «Сообщениях», iCloud, а также в Siri — возможности разработали совместно с экспертами по детской безопасности.
Размытие откровенных снимков и предупреждение родителей в «Сообщениях»
С выходом iOS и iPadOS 15, watchOS 8, macOS Monterey приложение «Сообщений» начнёт использовать машинное обучение на каждом конкретном устройстве для распознавания откровенного контента. Алгоритмы будут локально сканировать фотографии, но сама Apple не получит доступ к данным — всё будет происходить на устройствах.
В случае получения откровенного контента «Сообщения» автоматически размоют снимок, а также расскажут детям о том, что они могут не смотреть подобные фотографии. Дети также не смогут отправить сексуальные фото — их предупредят, а родителям сообщат, если снимок всё же отправят или посмотрят.
Распознавание фото в iCloud и передача полиции данных о сексуальном насилии над детьми
Новые iOS и iPadOS также начнут бороться с распространением контента с сексуальным насилием над детьми (Child Sexual Abuse Material, CSAM). Apple будет распознавать откровенные фотографии в iCloud и передавать данные властям. В США технология позволит компании отчитываться об опасных случаях в Национальный центр пропавших и эксплуатируемых детей (NCMEC). Организация будет работать сообща с местными властями в разных штатах.
Сканирование снимков в iCloud также будет происходить приватно: для этого Apple будет использовать машинное обучение на устройствах. Нейросети начнут сопоставлять изображения из облачных хранилищ с хешами изображений, предоставленных NCMEC и другими организациями по детской безопасности. В Apple утверждают, что эта база данных будет нечитаемым набором хешей, которые безопасно хранятся на устройствах.
Проверку на сексуальное насилие над детьми будут проводить до выгрузки фотографии в само облако iCloud. Сравнение работает на криптографической технологии «пересечения приватных наборов» — она проводит сравнение, не выдавая результат. Устройство будет создавать безопасный криптографический ваучер, который расшифровывает результаты сравнения вместе с дополнительными данными о фотографии. Затем ваучер будут выгружать в iCloud вместе с изображением.
Apple также будет применять технологию «разделения секрета», которая позволит обезопасить ваучеры безопасности от расшифровки на стороне сервера до тех пор, пока пользователь не пересёк правила безопасности. В компании утверждают, что это гарантирует высокий уровень точности — система будет выдавать меньше одного из триллиона ложных результатов за год.
Только в случае фиксации нарушений сразу двумя технологиями Apple сможет интерпретировать контент ваучеров безопасности и сравнить изображения самостоятельно. Затем компания обещает вручную изучать каждый случай, чтобы подтвердить соответствие, отключит аккаунт пользователя и сообщит о нём в NCMEC. Пользователи смогут оспорить жалобу, если считают её ошибочной.
Новые руководства безопасности в Siri и подсказки в «Поиске»
Apple также начнёт лучше предупреждать и обучать юных пользователей систем и их родителей о том, как лучше вести себя в небезопасных ситуациях. Siri и «Поиск» вмешаются, когда пользователи попытаются найти связанные с CSAM данные — система объяснит, что это проблемные и болезненные темы и предложит почитать о них подробнее.
Siri также начнёт предлагать дополнительную информацию детям и родителям о том, как реагировать на эксплуатацию детей и сексуальное насилие. Например, если пользователи спросят голосового ассистента, как сообщить о CSAM, то их направят на соответствующие ресурсы.
В Apple обещают со временем расширять ресурсы для защиты детей. Новые функции станут доступны с выходом новых версий систем осенью 2021 года. Компания также предоставила дополнительную информацию о нововведениях в подробной документации, включая выжимку об использовании технологий, протоколы безопасности, и независимые технические консультации экспертов.
иногда мне кажется что на VC сидят совсем глупые люди. Среднего ума педофил никогда не будет заморачиваться и прослеживать каждую новость, он просто пойдет делать свое дело. Поэтому это будет работать, особенно через пару лет, когда шум уляжет.
Многим нравится быть в безопасности, не видеть террористов, не слышать взрывов, все хотят точно знать что их ребенок точно доберется до школы и обратно живым, но как только речь заходит о том, что сами люди с помощью своих гаджетов, или с помощью государственной инфраструктуры должны делиться данными, так у многих подгорает.
Вы можете себе представить как работает службы специального назначения? На какие жертвы они идут чтобы пресечь очередной подрыв? А знаете как находят педофилов сейчас?
Вы действительно считаете что розовый слоник каждый день шепчет на ушко специальным службам о готовящемся теракте или о случаях педофилии?
Лишний раз убеждаюсь что демократии и право голоса среди низших слоев населения быть не должно, и на самом деле замечательно что ее нет нигде. А вот ширму демократии поддерживать нужно, ибо низшему слою населения никогда не удастся обьяснить почему их голос - мусор.
Лучший аргумент против демократии — пятиминутная беседа со средним избирателем - Черчилль.
Проблемы 2:
1. РКН тоже начинался с защиты детей, а теперь блокирует СМИ, «политически неблагонадежных» и просто неугодных.
2. Никто не защитит от false positives, хакерских атак, внутренней коррупции. По сути, это бекдор в end-to-end зашифрованные сообщения.
iPhone всегда был про privacy и «ты можешь доверять своему устройству». Если эта идея взлетит, это будет уже не так.
А в случае конкретно с отправкой уведомлений о надсад родителям Apple и вовсе берет на себя роль морализатора, которая от них никому не нужна. Дети обмениваются нюдсами. Это нормально. Они тоже имеют право на свою privacy.
Отвечая на первое — Эппл за подобным замечен пока не был.
Отвечая на второе — прочтите внимательно про механизм шифрования с поиском набора. На сервере невозможно будет восстановить по хэшу примерно ничего.
По поводу первого, РКН начинался с малого. Вы думаете, когда Apple запустит эту технологию, у самых разных правительств не будет желания «расширить» ее применение?
Национальным законам Apple обычно подчиняется, если имеет техническую возможность. Данные они хранят локально в России и в Китае, предустановку приложений тоже добавили.
Организовать обнаружение «экстремистов» техническая возможность теперь у них тоже будет.
По поводу второго, вы издеваетесь? Вы читали первоисточник?
Only when the threshold is exceeded does the cryptographic technology allow Apple to interpret the contents of the safety vouchers associated with the matching CSAM images. Apple then manually reviews each report to confirm there is a match, disables the user’s account, and sends a report to NCMECА раньше у них её не было? Насколько понимаю, приложение «Фото» давно отличает котов от собак, то есть сам айфон давно смотрит, что на фото пользователя. Дальше оставалось только верить на слово Apple, что он эти данные никуда не передаёт.
Теперь Apple говорит «передавать данные будем, но только когда речь об очевидном зле». Нам остаётся верить на слово Apple, что действительно «только».
Вопрос: что с точки зрения технических возможностей сейчас изменилось?
Отличает котов от собак != передает эту информацию куда-то. На обманах такого рода Apple ранее не попадалась. Вот и здесь честно заявляют: теперь будем делать скрининг вашего контента.
Спасибо, мысль понял, отчасти согласен. Но про «бекдор в end-to-end зашифрованные сообщения» — в iCloud же вроде никакого e2e никогда не было? И если «никто не защитит от внутренней коррупции», как тогда быть уверенным (даже если ты Тим Кук), что внутренняя коррупция не добралась до твоих незашифрованных фото в iCloud уже давно?
Во-первых, частично есть - там же хранятся зашифрованные сообщения iMessage.
Во-вторых, дело как раз в том, что здесь Apple начинает делать on-device matching - это позволяет работать с данными еще до того, как они были зашифрованы и переданы наружу. На самом устройстве данные доступны без проблем - вы же видите и фото, и сообщения в iMessage.
End-to-end encryption защищает от MitM, в том числе, от поставщика сервиса (Apple, WhatsApp), но не защищает от "трояна" на самом устройстве. Вот Apple здесь прецедент такого трояна делает.
Ничто здесь не помешает делать матчинг сообщений относительно паттерна общения террористов (например) или проверять фото на предмет запрещенных предметов / людей / литературы.
Даже если этого сейчас нет, завтра придет Китай и скажет: хочу получать алерты, если пользователи обсуждают Тяньаньмэнь, потом Россия придет за "иноагентами", которые обсуждают условного Навального.
Потом вспомнят о праве на забвение и скажут: а пусть Apple удаляет с устройств всю информацию, где упоминается условный Медведев.
И Apple не смогут ответить - это беспрецедентно, мол, у нас нет технической возможности, мы так не делаем. Для США делали же предедент с CP, значит и прецедентно, и технически возможно, и вашим ценностям соответствует. А у нас в стране свое законодательство и свои приоритеты - теперь для нас будете делать. Это "наш CP".
И если «никто не защитит от внутренней коррупции», как тогда быть уверенным (даже если ты Тим Кук), что внутренняя коррупция не добралась до твоих незашифрованных фото в iCloud уже давно?Риск есть всегда, но чем больше преград, тем он ниже. Сейчас, чтобы добраться до фото в iCloud, которые хранятся в зашифрованном виде, нужно преодолеть целый ряд препядствий и людей, а с этой функцией - достаточно работать с двумя командами: те, кто делают алгоритмы матчинга и те, кто делают верификацию при срабатывании триггера.
Насколько понимаю, Apple утверждает, что сверяет фото по хэшам с базой данных. Для «проверки на запрещенных людей» хэшей будет недостаточно, это надо менять весь принцип работы. Может ли внутренняя коррупция вносить настолько масштабные изменения и при этом оставаться незамеченной?
1. Посмотрите их White Paper — там soft matching, не обязательно совпадение 1:1
2. Следующим шагом будет движение со стороны России, Китая и пр. по внедрению еще более гибкого метчинга. Логичная идея — face matching против лиц террористов и иностранных агентов.