Роскомнадзор рекомендовал хостинг-провайдерам ограничить сбор данных с сайтов ботами Google, OpenAI и другими — «Ъ» Статьи редакции

Чтобы исключить сбор информации об их критических уязвимостях, а также индексацию и анализ данных россиян.

  • Центр управления связью общего пользования Роскомнадзора в конце апреля 2024 года направил компаниям из реестра провайдеров хостинга письмо, которое содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. С документом ознакомился «Коммерсантъ».
  • По словам источника издания на рынке интернет-провайдеров, речь об иностранных ботах, в том числе — Googlebot от Google, GPTBot от OpenAI, Apple Bot от Apple и других. Такие роботы в автоматическом режиме посещают сайты для их индексации поисковиками, для интернет-рекламы или обучения нейросетей.
  • Ограничить доступ ботов нужно «для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации», следует из письма. Провайдерам же «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
  • В письме приведён список идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Получение документа подтвердили в DDoS-Guard и сообщили, что приняли его к сведению. В Роскомнадзоре на запрос издания не ответили.
  • Собеседник «Ъ» в крупной ИТ-компании отметил, что список приведённых в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы ИТ-систем».
0
138 комментариев
Написать комментарий...
Слегка Придурковатый

Рекомендации по настройке ограничений доступа поисковых ботов, поди, выглядели так:

User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

Ответить
Развернуть ветку
Владимир Егоров

Вот только поисковые роботы Гугла команды в robotx.txt воспринимают как пираты Карибского моря кодекс: "это лишь свод указаний, а не жёстких законов. Смекаешь?". Поэтому придётся поднапрячься и прописать в каждой странице в head .<meta name=”robots” content=”noindex, nofollow”/>.

Ответить
Развернуть ветку
Слегка Придурковатый

Так и РКН рекомендации выдал, а не требования.

Ответить
Развернуть ветку
Frolov Konstantin

Но некоторые хостера наверняка в стойку встали и приняли в работу

Ответить
Развернуть ветку
Jiu and vali
Поэтому придётся поднапрячься и прописать в каждой странице в head

Ахахаха, это ты вручную для каждый страницы все делаешь? Ну и бред.

Ответить
Развернуть ветку
Владимир Егоров

нет, поручаю фронтам. А как они это делают меня не касается.

Ответить
Развернуть ветку
135 комментариев
Раскрывать всегда