Роскомнадзор рекомендовал хостинг-провайдерам ограничить сбор данных с сайтов ботами Google, OpenAI и другими — «Ъ» Статьи редакции
Чтобы исключить сбор информации об их критических уязвимостях, а также индексацию и анализ данных россиян.
- Центр управления связью общего пользования Роскомнадзора в конце апреля 2024 года направил компаниям из реестра провайдеров хостинга письмо, которое содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. С документом ознакомился «Коммерсантъ».
- По словам источника издания на рынке интернет-провайдеров, речь об иностранных ботах, в том числе — Googlebot от Google, GPTBot от OpenAI, Apple Bot от Apple и других. Такие роботы в автоматическом режиме посещают сайты для их индексации поисковиками, для интернет-рекламы или обучения нейросетей.
- Ограничить доступ ботов нужно «для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации», следует из письма. Провайдерам же «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
- В письме приведён список идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Получение документа подтвердили в DDoS-Guard и сообщили, что приняли его к сведению. В Роскомнадзоре на запрос издания не ответили.
- Собеседник «Ъ» в крупной ИТ-компании отметил, что список приведённых в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы ИТ-систем».
16K
показов
4.9K
открытий
Рекомендации по настройке ограничений доступа поисковых ботов, поди, выглядели так:
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
Нет на стороне сервера закроют и начнут вероятно с веб хостингов где пасутся на одном серваке по 500 - 1000 сайтов, там не дают доступа к конфигам сервера, там что то могут реализовать, но крупные проекты которые на VPS и VDS с этим сложнее - клиент нахер может такой хостинг послать и уйти к другим.
Мне интересно а РКН о последствиях думает?
Думает. Они специально все это делают, чтобы поиск у того же гугла стал хуже, и люди перешли сами на янедкс. Тоже самое касается и регистрации только с ру почты. Все для этог ои делается, чтобы не силой заставить люедй перейти на яндекс, а хитростью. Боты это тут тоже подтверждают, типа "это все ради сохранения данных, чтобы чатгпт не воровал статьи".
Так что тактика предельна ясна, это мягкая сила для перевода людей на янедкс.