Вот хоть я и ответили что директива не работает уже, все равно по старинке указываю эти две директивы HOST и Sitemap. Так как это не вызовет ошибку. Насчет mail вы конечно пургу гоните. Так можно составить вопросы, где будет всего 15% правильных а то и меньше. Вопрос поставлен неверно.
Вопрос не в применимости директивы (понятно, что ее использование или неиспользование в robots.txt ровным счетом в трафике ничего не изменит). Вопрос в фактическом использовании роботами ПС этой директивы. Можно не указывать директиву в robots.txt, да только вопрос-то в другом :)
Вот хоть я и ответили что директива не работает уже, все равно по старинке указываю эти две директивы HOST и Sitemap. Так как это не вызовет ошибку. Насчет mail вы конечно пургу гоните. Так можно составить вопросы, где будет всего 15% правильных а то и меньше. Вопрос поставлен неверно.
Вопрос не в применимости директивы (понятно, что ее использование или неиспользование в robots.txt ровным счетом в трафике ничего не изменит). Вопрос в фактическом использовании роботами ПС этой директивы. Можно не указывать директиву в robots.txt, да только вопрос-то в другом :)