Поисковая система «Яндекс» проиндексировала документы Google Docs, находящиеся в публичном доступе.
Обновлено 5 июля: Часть неприватных документов в Google Docs была проиндексирована и другими поисковыми системами. Сотрудники «Яндекса» изъяли эти ссылки из выдачи и обратились в Google с предложением обратить внимание на ситуацию.
28
показов
24K
открытий
Яндекс индексирует всю открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета.
В среду вечером в службу поддержки обратились пользователи с жалобами на проблему доступности файлов на docs.google.com. Наша служба безопасности связывается сейчас с коллегами из Google, чтобы обратить их внимание на то, что в этих файлах может оказаться приватная информация.
robots.txt - это запрет сканирования, а не индексации. Запрет индексации это noindex/X-Robots-Tag. Наоборот нельзя запрещать сканирование в robots.txt.
Комментарий удален модератором
Можно считать ссылку с какой либо другой страницы, которую возможно сканировать. Т.е. из-за запрета сканирования ПС не знает что ссылку нельзя индексировать, и в итоге может выдать её в результатах поиска. Поэтому если что то на 100% не надо индексировать нельзя запрещать сканировать.