Роскомнадзор рекомендовал хостинг-провайдерам ограничить сбор данных с сайтов ботами Google, OpenAI и другими — «Ъ» Статьи редакции
Чтобы исключить сбор информации об их критических уязвимостях, а также индексацию и анализ данных россиян.
- Центр управления связью общего пользования Роскомнадзора в конце апреля 2024 года направил компаниям из реестра провайдеров хостинга письмо, которое содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. С документом ознакомился «Коммерсантъ».
- По словам источника издания на рынке интернет-провайдеров, речь об иностранных ботах, в том числе — Googlebot от Google, GPTBot от OpenAI, Apple Bot от Apple и других. Такие роботы в автоматическом режиме посещают сайты для их индексации поисковиками, для интернет-рекламы или обучения нейросетей.
- Ограничить доступ ботов нужно «для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации», следует из письма. Провайдерам же «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
- В письме приведён список идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Получение документа подтвердили в DDoS-Guard и сообщили, что приняли его к сведению. В Роскомнадзоре на запрос издания не ответили.
- Собеседник «Ъ» в крупной ИТ-компании отметил, что список приведённых в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы ИТ-систем».
16K
показов
4.9K
открытий
То есть гугл будет плохо индексировать а чат жпт плохо генерировать на русском? Выглядит, как попытка остановить прогресс за счет налогоплательщиков.
Выглядит как проплаченная лобби яндексом чтобы остаться единственным говнопоисковиком в ру зоне - и как интересно они это делать будут... а если и что-то реализуют, не боятся ли они что многие сайты перенесут к другим хостинг провайдерам? ))))))
Да кому нужен этот прогресс? На виси статейки клепать, да на ГС контент?
«Чтобы исключить... анализ данных россиян»
Нидайбох Илон Маск узнает ФИО жителя Сыктывкара Петра Сергеевича Дерябкина!
Любопытный выбор имени.
скорее речь про сбор данных, что бы оценить происходящее в РФ. Вероятно эти данные используются для принятия решений политиками.
И завербует его для службы Байдену и рептилоидам !
100% найдутся индивиды, которые в этот бред поверят, и будут с пеной у рта доказывать как поисковые боты собирают информацию об уязвимостях на сайтах.
И даже тот факт, что автоматические сканеры, которые регулярно долбятся в попытках заэксплуатировать одну из уязвимостей, не будут использовать заблокированные идентификаторы, ни разу для них не аргументь - Гугл, АНБ следят, смотрят, изыскивают как бы взломать сайт Васи Пупкина, в то время как главный защитник всея Руси борется в сетряными мельницами и блокирует 127.0.0.1.
Уже нашлись, два коммента выше 😂
Рекомендации по настройке ограничений доступа поисковых ботов, поди, выглядели так:
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
Нет на стороне сервера закроют и начнут вероятно с веб хостингов где пасутся на одном серваке по 500 - 1000 сайтов, там не дают доступа к конфигам сервера, там что то могут реализовать, но крупные проекты которые на VPS и VDS с этим сложнее - клиент нахер может такой хостинг послать и уйти к другим.
Мне интересно а РКН о последствиях думает?
Учитывая, что отдаваемые данные в ботах не пишут что это именно чатджп, в что то типа chrome gecko 5.0 html os win 7
Вот только поисковые роботы Гугла команды в robotx.txt воспринимают как пираты Карибского моря кодекс: "это лишь свод указаний, а не жёстких законов. Смекаешь?". Поэтому придётся поднапрячься и прописать в каждой странице в head .<meta name=”robots” content=”noindex, nofollow”/>.
На днях подавал декларацию 3-ндфл на сайте налоговой и понял, что эти дебилы даже сбор налогов не могут нормально организовать, глючит абсолютно все! Выручили на каком-то форуме, предложили воспользоваться старой версией сайта. А вы тут блокировку ботов обсуждаете .... :)
с Почтой России то же самое. Формирование трек-номера тупо не нажимается последняя кнопка, ничего не происходит. И даже удалили ссылку на старую версию. Беру из истории браузера и всё работает. Ну тупые!
То что все работает через жопу их не остановит - там в головах одна извилина и та прямая до сортира - а яше выгодно лоббировать эту хрень они пол триллиона за выкуп своих активов у запада вывалили, а с кого доить потерялись, повысят цены на директ многие отказаться могут.
Вот и лютуют, создателей то нет уже рядом а те гении которые управляют только о бабле думают им в казну откаты платить надо.
В налоговой оборудование, древнее как мамонт. Мама раз в день на час-два в определенное время в региональную базу заходила, потому что потом все не работало. 😬 А так только местными данными своей налоговой пользовалась.
Палкой по хребту этих ботов! Удумали они.
Хорошо что Центр управления связью бдит и заботится о россиянах.
Только палку ломать об железо. Есть простой проверенный способ — отключение.
вот это забота, вот это молодцы,так держать
Это случаем не та организация, которой мы платим, чтобы они занимались цензурой, ограничением информации и ломали интернет?
По мне хорошее решение. Админы сайтов думаю знают, что в день может десяток таких ботов зайти на сайт и начать скачивать данные. Раньше приходилось бороться самому с ними. Теперь это геморой хостера будет.
Гугл можно оставить. А остальные все пол нож. И российские тоже.
А ведь ты это всё на полном серьезе из своей головы вытащил.
Некоторые головы конечно очень занятные.
А какой толк от сайта, который не индексируется?
Какие данные? Вот про какие данные ты пишешь? Твои портянки текста? Из по щелку пальца у тебя заберет любой вебмастер. И никакая защита не поможет.
Комментарий недоступен
Ты врешь. Нет в ЕС, Канаде, Австралии и Пендосии запретов на индексацию сайтов ботами других стран.
Они ничего не запрещают и не блокируют, просто конторам нужно написать небольшой манифест об использовании данных, как они хранятся и кому передаются.
Комментарий недоступен
У вас такие потрясающие комментарии с 18 апреля, даты вашей регистрации)))
Быстро же вас всех на нейронки заменили. Прогресс.
Да пошел этот. Ркн .... Уже за***ли
Нет, не пошел. Как миленькие будете выполнять. А то что зубами скрипите, да на кухнях друг другу жалуетесь... Ну так и кошка орать-то орёт, а коту свое дело делать не мешает
Тоже думаю что решение хорошее. Теперь все данные под защитой будут. Ну и самое главное это головная боль провайдера теперь.
"Теперь все данные под защитой будут" - подавился чаем без заварки
Ты из роскомпозора? Начальство бросило жопой амбразуры закрывать?
Под какой защитой?
Всем похуй на твои данные, они давно уже в сети. Это закручивание гаек, и чтобы ты перешел на яндекс.
естественно эту рекомендацию будут соблюдать все хостинг провайдеры
Естественно. Или не будут работать на российском рынке. После этого условные МТСы и Ростелекомы скажут большое спасибо за окончательную зачистку поляны :)
РКН пробил очередное дно. Клоуны
То есть это все рекомендации? Можно выполнять, а можно не выполнять?
Нет, в России это носит обязательный характер. Также как и с «нежелательными» организациями.
А можно уже я сам буду решать кому и какие данные свои отдавать?
Нет
Немного опоздатушки. 80% трафика - это штук 50 популярных сервисов
В США на жпт в суд подают, за нарушение авторских прав. У нас либералы предлагают его бота хлебом с солью встречать.
Вы допустим разместили на своем сайте статью, в надежде что к вам будут приходить люди за информацией. А они просто идут в чаты ИИ.
Комментарий недоступен
Хтонические куплеты.
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Поиск гугл итак уже не тот, что раньше
Он стал лучше, без рекламы и цензуры. А яндекс с кучей дыр.
То ли дело выдача Яндекса: Скам и вирусня
Огонь. Это если всякие чатгпт не смогут парсить пикабу, то в рунете яндекс станет лучшим вообще ничего не делая. Отличная идея!
Да блокирнули бы уже гугл да и все)
Да, твой хлеб блокнут, и все. Пойдешь на завод гайки точить, а не сайты делатью.
Какая глупая рекомендация)
ЕГЭ проникло в структуру?)
Ага, вот взяли и перестали анализировать данные, каждая платформа этим занимается и что теперь?
Праильно. Только наши могут данные о своих собирать
Комментарий удален модератором
Комментарий удален модератором