Сами посмотрите у дакдакгоу в выдаче сплошные инструкции и подобные файлы на которые есть ссылки в интернете, у Яндекса же в выдаче были совсем другие файлы.
В чем сдельная полезность для продукта и экосистемв? В результате подобных действий в открытый доступ попадает информация которой там быть не должно.
Вам не кажется это не логичным? Делать недоступным для роботов файл по прямой ссылке который должен быть доступным всем у кого есть прямая ссылка на этот файл.
Сами посмотрите у дакдакгоу в выдаче сплошные инструкции и подобные файлы на которые есть ссылки в интернете, у Яндекса же в выдаче были совсем другие файлы.
В чем сдельная полезность для продукта и экосистемв? В результате подобных действий в открытый доступ попадает информация которой там быть не должно.
Вам не кажется это не логичным? Делать недоступным для роботов файл по прямой ссылке который должен быть доступным всем у кого есть прямая ссылка на этот файл.
Яндекс не выдумал ссылки, а проиндексировал те страницы на которые заходили через их браузер. В этом и косяк Яндекса. И уже не в первый раз такое.