robots.txt: настройки сканирования без бубна
Как показывает практика, база технического SEO – файл robots.txt, – многими вебмастерами не только заполняется неправильно, но и без понимания, зачем этот файл и как он работает. Статей на эту тему – объективно, тонны, но есть смысл расставить некоторые акценты.
Для кого и для чего эта статья? В сети миллион инструкций по корректному составлению файла robots.txt
Миллион-то миллион, только по итогам смотришь в robots - а там всё плохо. Статья и написана, чтобы хоть кто-то шаманский бубен убрал и чуть включил голову и хотя бы попытался посмотреть в один из важнейших для технички списков директив свежим взглядом.
Кстати, для кого этот комментарий, если сама статья с него же и начинается?