Apple усилит защиту детей — начнёт размывать откровенные снимки в «Сообщениях», проверять iCloud и предупреждать в Siri Статьи редакции

Компания будет проверять контент прямо на устройствах с помощью нейросетей, натренированных на распознавание сексуальных снимков.

Apple объявила о расширении функций для защиты детей на всех своих операционных системах — iOS, iPadOS, macOS и watchOS. Компания начнёт размывать откровенные снимки в «Сообщениях», предупреждать родителей о получении и отправке сексуальных фотографий, сканировать контент в iCloud и добавит руководства для безопасности в Siri.

Компания пояснила, что хочет защитить детей от «хищников, которые используют средства коммуникации для привлечения и эксплуатации». Для этого Apple внедряет новые опции в трёх областях: «Сообщениях», iCloud, а также в Siri — возможности разработали совместно с экспертами по детской безопасности.

Размытие откровенных снимков и предупреждение родителей в «Сообщениях»

С выходом iOS и iPadOS 15, watchOS 8, macOS Monterey приложение «Сообщений» начнёт использовать машинное обучение на каждом конкретном устройстве для распознавания откровенного контента. Алгоритмы будут локально сканировать фотографии, но сама Apple не получит доступ к данным — всё будет происходить на устройствах.

Изображение Apple

В случае получения откровенного контента «Сообщения» автоматически размоют снимок, а также расскажут детям о том, что они могут не смотреть подобные фотографии. Дети также не смогут отправить сексуальные фото — их предупредят, а родителям сообщат, если снимок всё же отправят или посмотрят.

Распознавание фото в iCloud и передача полиции данных о сексуальном насилии над детьми

Новые iOS и iPadOS также начнут бороться с распространением контента с сексуальным насилием над детьми (Child Sexual Abuse Material, CSAM). Apple будет распознавать откровенные фотографии в iCloud и передавать данные властям. В США технология позволит компании отчитываться об опасных случаях в Национальный центр пропавших и эксплуатируемых детей (NCMEC). Организация будет работать сообща с местными властями в разных штатах.

Сканирование снимков в iCloud также будет происходить приватно: для этого Apple будет использовать машинное обучение на устройствах. Нейросети начнут сопоставлять изображения из облачных хранилищ с хешами изображений, предоставленных NCMEC и другими организациями по детской безопасности. В Apple утверждают, что эта база данных будет нечитаемым набором хешей, которые безопасно хранятся на устройствах.

Проверку на сексуальное насилие над детьми будут проводить до выгрузки фотографии в само облако iCloud. Сравнение работает на криптографической технологии «пересечения приватных наборов» — она проводит сравнение, не выдавая результат. Устройство будет создавать безопасный криптографический ваучер, который расшифровывает результаты сравнения вместе с дополнительными данными о фотографии. Затем ваучер будут выгружать в iCloud вместе с изображением.

Apple также будет применять технологию «разделения секрета», которая позволит обезопасить ваучеры безопасности от расшифровки на стороне сервера до тех пор, пока пользователь не пересёк правила безопасности. В компании утверждают, что это гарантирует высокий уровень точности — система будет выдавать меньше одного из триллиона ложных результатов за год.

Только в случае фиксации нарушений сразу двумя технологиями Apple сможет интерпретировать контент ваучеров безопасности и сравнить изображения самостоятельно. Затем компания обещает вручную изучать каждый случай, чтобы подтвердить соответствие, отключит аккаунт пользователя и сообщит о нём в NCMEC. Пользователи смогут оспорить жалобу, если считают её ошибочной.

Новые руководства безопасности в Siri и подсказки в «Поиске»

Apple также начнёт лучше предупреждать и обучать юных пользователей систем и их родителей о том, как лучше вести себя в небезопасных ситуациях. Siri и «Поиск» вмешаются, когда пользователи попытаются найти связанные с CSAM данные — система объяснит, что это проблемные и болезненные темы и предложит почитать о них подробнее.

Siri также начнёт предлагать дополнительную информацию детям и родителям о том, как реагировать на эксплуатацию детей и сексуальное насилие. Например, если пользователи спросят голосового ассистента, как сообщить о CSAM, то их направят на соответствующие ресурсы.

В Apple обещают со временем расширять ресурсы для защиты детей. Новые функции станут доступны с выходом новых версий систем осенью 2021 года. Компания также предоставила дополнительную информацию о нововведениях в подробной документации, включая выжимку об использовании технологий, протоколы безопасности, и независимые технические консультации экспертов.

0
150 комментариев
Написать комментарий...
MEGAtraXXXer666

Вообще-то Apple, собирается сканировать содержимое iPhone, если даже полностью отключить iCloud. При выявлении так называемого подозрительного контента, фотография будет выгружаться в зашифрованном виде, расшифровываться на серверах Apple и проверяться специальной командой. Родители маленьких детей уже недовольны, что на их детей будут смотреть сотрудники яблочной компании.
“what happens on your iphone stays on your iphone” - уже не работает.
Получается: «Мы спрятали ваш IP от трёх сайтов, зато проскандировали всю вашу фототеку, выгрузили 5 ваших фотографий, просмотрели их и выдали ментам.»
Браво, Apple.

Ответить
Развернуть ветку
Алексей Штейн

Да нормально. Если будут делится запрещённым контентом с местными властями по миру - замечательно. Ркн сразу сможет банить либерах на митингах 

Ответить
Развернуть ветку
6 комментариев
ilia

На это вам сектанты от Apple будут писать что-то вроде "ой, а можно подумать Хуавэй не сливает ваши фотки" подменяя тему) они такие..

Ответить
Развернуть ветку
1 комментарий
Виктор Веснов

Да, похоже что файлы вот так просто попадут к хрен знает кому. а если алгоритм ошибется? 

Ответить
Развернуть ветку
1 комментарий
Ivan Pogoreloff
Жители Китая также не смогут отправить фото с Винни Пухом — их предупредят, а партии сообщат, если снимок всё же отправят или посмотрят.

Эппл вступает на скользкую дорожку. Сам факт наличия этого функционала является проблемой.

Ответить
Развернуть ветку
Сергей Лукин

iStukachok

Ответить
Развернуть ветку
Родитель номер один

А факт наличия в айфонах функционала Призм является  проблемой? Наверное нет, судя по тому, что продажи Эппл каждый год только растут. Право на приватность с каждым годом становится все более условным. Вообще оказыватся, что людей приватность не очень волнует, в основном всем пофигу. 

Ответить
Развернуть ветку
6 комментариев
K. A.

Это ужасное решение, которое подрывает один из ключевых value proposition iPhone: пользователь сам контролирует свои данные.

Даже если они откатят это решение (а думаю, так и будет), сам факт того, что они это предлагали, будет иметь долгоиграющие последствия для всей индустрии.

Похоже на РКН. Начнём с детей, продолжим чем поинтереснее.

Только с дырой для обхода e2e. Мол, мы не расшифровываем сообщения, мы делаем on device matching и отсылаем в органы только подозрительные.

On Device СОРМ.

Ответить
Развернуть ветку
Филипп Дмитров

Ещё один чукча не читатель, чукча писатель.
Ничего никуда не отсылается. Сравнивается на устройстве и уходит только факт совпадения. «на том то устройстве сработало совпадение с оьъектом номер 100500».

Сравнивать с ркном затребовавшем в чистом виде хранить все и вся некорректно

Ответить
Развернуть ветку
1 комментарий
Алексей Штейн

Опять ты. Пиши по русски 

Ответить
Развернуть ветку
1 комментарий
Джеймс Бонд

иногда мне кажется что на VC сидят совсем глупые люди. Среднего ума педофил никогда не будет заморачиваться и прослеживать каждую новость, он просто пойдет делать свое дело. Поэтому это будет работать, особенно через пару лет, когда шум уляжет. 

Многим нравится быть в безопасности, не видеть террористов, не слышать взрывов, все хотят точно знать что их ребенок точно доберется до школы и обратно живым, но как только речь заходит о том, что сами люди с помощью своих гаджетов, или с помощью государственной инфраструктуры должны делиться данными, так у многих подгорает.

Вы можете себе представить как работает службы специального назначения? На какие жертвы они идут чтобы пресечь очередной подрыв? А знаете как находят педофилов сейчас?
Вы действительно считаете что розовый слоник каждый день шепчет на ушко специальным службам о готовящемся теракте или о случаях педофилии?

Лишний раз убеждаюсь что демократии и право голоса среди низших слоев населения быть не должно, и на самом деле замечательно что ее нет нигде. А вот ширму демократии поддерживать нужно, ибо низшему слою населения никогда не удастся обьяснить почему их голос - мусор. 

Лучший аргумент против демократии — пятиминутная беседа со средним избирателем - Черчилль.

Ответить
Развернуть ветку
K. A.

Проблемы 2:

1. РКН тоже начинался с защиты детей, а теперь блокирует СМИ, «политически неблагонадежных» и просто неугодных.

2. Никто не защитит от false positives, хакерских атак, внутренней коррупции. По сути, это бекдор в end-to-end зашифрованные сообщения.

iPhone всегда был про privacy и «ты можешь доверять своему устройству». Если эта идея взлетит, это будет уже не так.

А в случае конкретно с отправкой уведомлений о надсад родителям Apple и вовсе берет на себя роль морализатора, которая от них никому не нужна. Дети обмениваются нюдсами. Это нормально. Они тоже имеют право на свою privacy.

Ответить
Развернуть ветку
41 комментарий
Слава Коженевский
 Лишний раз убеждаюсь что демократии и право голоса среди низших слоев населения быть не должно....

Один австрийский художник думал также))), а еще так думали различного рода феодалы, рабовладельцы и другие диктаторы. Которые эксплуатируют других, ради своей выгоды и амбиций, без оглядки на судьбы и жизни. 
И если все же цитировать Черчилля то более зрелую мысль.

 Демократия — наихудшая форма правления, если не считать всех остальных. 
Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Qwerty54321

Но почему из-за нескольких сотен педофилов остальные должны жертвовать приватностью своих фотографий. Почему тогда сразу по камере не поставить в каждую комнату домой?

Ответить
Развернуть ветку
lakoros

Сканирование всех твоих устройств на поиск "чего интересного" . это полумеры. Почему бы не поставить камеры слежения у тебя на голове? как у полицейских. Снял и сразу звоночек куда надо. (кажется он собирается совершить теракт!)

Ответить
Развернуть ветку
Mikhail Che

Видите ли, на ВС сидят высшие слои населения, которых кстати коробит от вашего мещанского деления на "высшие" и низшие" и которые, как видно по минусам, с вами не согласны.

Ответить
Развернуть ветку
Rodeus

Вы умеете излагать мысли кратко? Воды налили, присутствующих оскорбили, а суть в контексте новости не видна. И карма поэтому говорящая. Бессмысленные тексты уровня плохого чат-бота.

Ответить
Развернуть ветку
Харухи

Интересно, насколько глубоко корпорации должны засунуть кулак в задницу пользователям, чтобы предлоги вроде "защитим наших детей" перестали работать? 

Ответить
Развернуть ветку
Nan Nan

Этого не произойдёт.
Карлин ещё в 80-90х говорил - "Политики традиционно прячутся за тремя вещами: флаг, библия и дети"
Тут то же самое.

Ответить
Развернуть ветку
p0st

Закрытая экосистема, приватность, ну да, ну да. 

Ответить
Развернуть ветку
Shlomo Goldenberg

Бедные дети, ведь это такая тяжелая травма, если они увидят сексуальные фотографии. Ничего что графичное убийство и расчленение можно увидеть безо всяких размытий в том же Walking Dead, но главное чтобы писюн с вагиной были скрыты

Ответить
Развернуть ветку
Родитель номер один

Вы совершенно правы. Видеть гей-парады, расчлененку, бомжей, наркоманов - можно, а писюн - нельзя. 

Ответить
Развернуть ветку
2 комментария
Алексей Шатин

Эппл: "Никому не позволим издеваться над вашими детьми! Сами будем!"

Ответить
Развернуть ветку
Eugene Pastukhov

У Kodak появилась надежда.

Ответить
Развернуть ветку
Rodeus

Какая?

Ответить
Развернуть ветку
Андрей Николаевич

"Сниму ограничения на откровенные фото в вашем Айфоне, отключу проверку пересылаемых фото. Недорого. Андрей. +7951484...."

Ответить
Развернуть ветку
Rodeus

С айфонов жертв?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Ilya Dorofeev

Там написано откуда - NCMEC. 

Ответить
Развернуть ветку
Всвиторе

Не очень понятна инициатива. Теперь телефон от apple это не приватное место. Вначале они сканируют фото по критериям A, потом B, С, D и т.д. Потом они будут анализировать весь входящий и исходящий трафик.

И вот этот довод "мы шифруем, чтобы другие не прочитали" не уместен. Да, они зашифровали трафик от третьих лиц, но они отправляют на свои сервера данные с ключом для дешифрации где будут простые смертные, т.е. третьи лица смотреть эту информацию. Также эти данные потом передаются правоохранительным органам.

Зачем тогда это шифрование? Типа мы в вас стреляем из пистолета, но не волнуйтесь, пули резиновые. Так что-ли? 

Лично для меня продукция Apple теперь имеет нулевую ценность. Так как эта инициатива явно рассчитана не на детей, а на выуживание информации с конкретных людей. 

Ответить
Развернуть ветку
Илитный Иксперт

Что непонятного? Вашу приватность целенаправленно уничтожают под благовидным предлогом

Лично для меня продукция Apple теперь имеет нулевую ценность

Завтра это будет везде, тенденцию чтоли не видите?

Ответить
Развернуть ветку
1 комментарий
Гаджи Хартумов

В наших телефонах высокий уровень безопасности. Мы запрещаем другим следить за вами. Мы будем делать это сами. 

Ваш Apple.

Ответить
Развернуть ветку
Make Luv
Ответить
Развернуть ветку
Слава Коженевский

Вот и чем Эпл отличается от путинского режима, тоже под прикрытием детишек хочет вставить анальный зонд? 

Ответить
Развернуть ветку
Nan Nan

А на основе чего вы вообще решили, что режим "там" принципиально отличается от режима "тут"?
Посмотрев голливудские фильмы и почитав новости?

Ответить
Развернуть ветку
1 комментарий
Anton B.

Напоминает главный компьютер из фильма Я - робот.

Ответить
Развернуть ветку
Никита Подгорный

*педофилы и любители малолеток вышли из чата iMessages и зашли в телегу*

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
2 комментария
Дмитрий Шеин

Все равно фотки в облако пойдут поэтому перейдут на Андройд

Ответить
Развернуть ветку
Rodeus

В ватсаппе им тоже пока вольготно, а охват выше.

Ответить
Развернуть ветку
Andrey Smalkov

Но в штатах снэп именно на этом и поднялся ) детвора друг другу высылала фотографии с подтекстом 🙂

Ответить
Развернуть ветку
Игорь Богданов

Уже вижу, как система случайно перепутала маленькую девочку со служебной документацией. С другой стороны, им обеим меньше 18.

Ответить
Развернуть ветку
Emily Sconel

Чёрное зеркало, 4 сезон, 2 серия.

Ответить
Развернуть ветку
Mariya Belokopytova

Педофилы перейдут на Самсунг?(((
Вообще в России это тема замалчивается. У нас в области начали расследование, по нему косвенно Мень проходил.. итог: Мень с почестями ушёл в отставку («сам решил»), дело не предают дальнейшей огласке

Ответить
Развернуть ветку
Rodeus

Есть вероятность, что или Google в Android запилит такой же функционал или сами топ-вендоры типа Samsung озаботятся. И на уровне детских настроек будут шерстить все мессенджеры, соц сети и браузеры.

Ответить
Развернуть ветку
Дмитрий Александрович
Компания пояснила, что хочет защитить детей от «хищников, которые используют средства коммуникации для привлечения и эксплуатации».

Хотели бы защитить - запретили бы детям доступ в интернет и пользование айфонами. Все только спасибо скажут.

Ответить
Развернуть ветку
Макс Демидов

А как же "конфиденциальность"? )) Сейчас сканируют с благими намерениями. А завтра сами определят, что такое "благо" и сканировать будут всё. Лицемеры.

Ответить
Развернуть ветку
Яков Сомов

Две лошади пьют воду.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Виктория Серобородова

Вот и как тут реагировать? 
Вроде норм тема - защита детей, все дела... 
С другой стороны - а можно мне хоть чуточку приватности? 
Или могу я отправить свою обнажëнную фотку тому, кому сама захочу?) 

Ответить
Развернуть ветку
Сергей Дадыко

Конечно, можете!
Но лучше сейчас, затягивать не стоит...

Ответить
Развернуть ветку
Владимир Кузьмин

Можно. Но что бы получатель, был старше 18, отправитель старше 18.
Поэтому нюдсы в айфон только с разворотом паспорта.

Ответить
Развернуть ветку
РосСпам

Интересно, что будет происходить дальше при обнаружении насилия. Обнаружили насилие, отправили сообщения куда надо. И фото? Если без фото, то никаких доказательств нет ("будут изучать каждый кейс" - изучать хэши?). Если с фото - то никакой приватности. 

Ответить
Развернуть ветку
K. A.

Будут отправлять фото, вроде.

Ответить
Развернуть ветку
Борат Язь

Интересно, кто из ютуберов  первый снимет обзор на эту фичу?

Ответить
Развернуть ветку
Svetlov

Видеокамеры в ноутах, телефонах, камерах наблюдения тоже начнут отправлять снятное на проверку? То же самое же по сути.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
6 комментариев
Алексей Шатаев

В России упадут продажи)

Ответить
Развернуть ветку
Netflixer Lover

Этого не будет в России это только в США 

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Nicholas Savel'ev

Вы наверное удивитесь, но это тоже было в Черном зеркале). 
4 сезон 2 серия, Архангел. Внедрить цензуру для ребенка прямо в мозг - плохая идея)

Ответить
Развернуть ветку
Georgy Uvarov

Почему у вас нет фото голых детей на телефоне? Вы что-то скрываете?

Ответить
Развернуть ветку
Andrew Kostin

Очень интересно получается. Даже не смотря на всю абсурдность этой технологии, которую вмиг могут адаптировать под поиск других неугодных фото, выходит, что из-за работы этой нейронки, будет постоянно выжираться батарейка.
Я вот бету 15 поставил и думаю «а что так быстро садится-то». А оказывается вон оно что. Apple тренируется.

Ответить
Развернуть ветку
K. A.

Батарейка как раз не проблема. Они обычно основную часть матичном делают оффлайн во время зарядки + нейрохирурги у них достаточно energy efficient.

Ответить
Развернуть ветку
5 комментариев
lakoros

Она  и будет искать сразу все подозрительные фото. дети это стандартный предлог для обеления слежки. странно что сразу не написали про террористов и врагов демократии.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
kitty_bot

ваш компьютер следит за вами и сообщает если вдруг чего кому надо

естественно все под соусом заботы о детях чтобы те, кому не нравится слежка могли обзываться педофилами, две любимые темы навязать анальный зонд - дети и террористы

Ответить
Развернуть ветку
Джон Крайтон

Погодите, это же может увеличить спрос на нейроморфные чипы, и промышленность начнёт развиваться.

Сейчас они слишком дорогие из-за маленького спроса, но энергозатраты на обработку данных у таких чипов сотни милливатт, по сравнению с обычными вычислителями это очень мало.

Их ведь уже используют на телефонах?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Evgeny Kozlov

Не самая полезная инициатива. А что если государства будут требовать отчеты о таких людях? А раз такая "полезная" функция уже есть у компании, то можно её судить, штрафовать и заставлять делать как это нужно регуляторам

Ответить
Развернуть ветку
ave ego

Депутату Горелкину уже понравилась идея apple со сканом пользовательских файлов и он задумался о законодательной инициативе определять девиантное поведение так в других мессенджерах и соцсетях https://t.me/webstrangler/1592

Идея выявлять психопатов различных сортов с помощью алгоритмов – это не новость. Но мы уже на пороге её реализации: Apple будет выявлять на гаджетах пользователей детскую порнографию.

Недавно принятый закон о саморегуляции соцсетей открывает для их владельцев широкие возможност...
Идея выявлять психопатов различных сортов с помощью алгоритмов – это не новость. Но мы уже на пороге её реализации: Apple будет выявлять на гаджетах пользователей детскую порнографию.

Недавно принятый закон о саморегуляции соцсетей открывает для их владельцев широкие возможности анализа поведения пользователей. Психопаты и маньяки могут публиковать контент в закрытых группах и чатах. Мессенджеры и социальные сети могли бы алгоритмически отслеживать девиантное поведение в Сети – и работать на оздоровление общества.

С другой стороны, эти алгоритмы должны быть прозрачными, во избежание злоупотреблений и утечки личных данных. Здесь важно найти баланс между защитой прав человека и интересами общества, и это наш самый ближайший законодательный вызов.
Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Komorebi
Apple также будет применять технологию «разделения секрета», которая позволит обезопасить ваучеры безопасности от расшифровки на стороне сервера до тех пор, пока пользователь не пересёк правила безопасности

Крайне сомневаюсь, что у них не будет возможности принудительно запросить локальный токен, а значит это шифрование чисто для галочки.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Dan

яблочники уже давно считают своих пользователей за скот, решая за них, какие приложения они могут устанавливать и использовать на СВОИХ устройствах, а какие нет. Выдумывая новые несовместимые с прежними стандарты и чуть ли не блокируя сторонние кабели. Теперь будут решать - какие файлы им можно иметь. Штош, сектанты и это проглотят.

Ответить
Развернуть ветку
Илитный Иксперт

Ждите эту хуйню в android 13 и windows 11

Ответить
Развернуть ветку
Aleksandr Azh

По морально этическим соображениям не пользуюсь продукцией Apple.

Ответить
Развернуть ветку
Aleksandr Azh

"С добром и злом тоже начались проблемы — от имени добра стали говорить такие хари, что люди сами с удовольствием официально записывались во зло."
Пелевин.

Ответить
Развернуть ветку
Анна Беднарская

Приняли бы сразу закон, у кого не эпл тот педофил.

Ответить
Развернуть ветку
147 комментариев
Раскрывать всегда