robots.txt: настройки сканирования без бубна
Как показывает практика, база технического SEO – файл robots.txt, – многими вебмастерами не только заполняется неправильно, но и без понимания, зачем этот файл и как он работает. Статей на эту тему – объективно, тонны, но есть смысл расставить некоторые акценты.
С чего вы взяли, что вы мне что-то должны? И что вы считаете, что мне непонятно?
Я лишь хочу узнать, как такой персонаж, который высмеивая других в комментариях, создает такой "экспертный" контент. Ну вот почитал я ваши комментарии в других статьях, которые не вы написали. У меня сложилось мнение, ну раз вы так позволяете себе дерзко общаться с другими, то, наверное, вы эксперт, вы крутой, вы же все знаете!
И открываешь статью от этого "эксперта", а там настройка файла robots.txt. Что там сказать в 2022 году? Что директива Host больше не поддерживается Яндексом? Хотя бы про клины бы написали, для чего их Яндекс ввел и почему лучше для GET-параметров их использовать вместо обычных Disallow.
Меня это больше всего веселит. Когда ты смеешься над другими, а по факту сам же и выдаешь какой-то пшик.
Дмитрий, мне вломы вам отвечать. Вы сами себя определили, продолжая анально полыхать на ровном месте. Вам к специалистам, не сюда.