Роскомнадзор рекомендовал хостинг-провайдерам ограничить сбор данных с сайтов ботами Google, OpenAI и другими — «Ъ» Статьи редакции

Чтобы исключить сбор информации об их критических уязвимостях, а также индексацию и анализ данных россиян.

  • Центр управления связью общего пользования Роскомнадзора в конце апреля 2024 года направил компаниям из реестра провайдеров хостинга письмо, которое содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. С документом ознакомился «Коммерсантъ».
  • По словам источника издания на рынке интернет-провайдеров, речь об иностранных ботах, в том числе — Googlebot от Google, GPTBot от OpenAI, Apple Bot от Apple и других. Такие роботы в автоматическом режиме посещают сайты для их индексации поисковиками, для интернет-рекламы или обучения нейросетей.
  • Ограничить доступ ботов нужно «для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации», следует из письма. Провайдерам же «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
  • В письме приведён список идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Получение документа подтвердили в DDoS-Guard и сообщили, что приняли его к сведению. В Роскомнадзоре на запрос издания не ответили.
  • Собеседник «Ъ» в крупной ИТ-компании отметил, что список приведённых в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы ИТ-систем».
0
138 комментариев
Написать комментарий...
Слегка Придурковатый

Рекомендации по настройке ограничений доступа поисковых ботов, поди, выглядели так:

User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

Ответить
Развернуть ветку
makol

Нет на стороне сервера закроют и начнут вероятно с веб хостингов где пасутся на одном серваке по 500 - 1000 сайтов, там не дают доступа к конфигам сервера, там что то могут реализовать, но крупные проекты которые на VPS и VDS с этим сложнее - клиент нахер может такой хостинг послать и уйти к другим.

Мне интересно а РКН о последствиях думает?

Ответить
Развернуть ветку
Jiu and vali

Думает. Они специально все это делают, чтобы поиск у того же гугла стал хуже, и люди перешли сами на янедкс. Тоже самое касается и регистрации только с ру почты. Все для этог ои делается, чтобы не силой заставить люедй перейти на яндекс, а хитростью. Боты это тут тоже подтверждают, типа "это все ради сохранения данных, чтобы чатгпт не воровал статьи".

Так что тактика предельна ясна, это мягкая сила для перевода людей на янедкс.

Ответить
Развернуть ветку
135 комментариев
Раскрывать всегда