Файл robots.txt - это текстовый документ, разработанный для обмена информацией между веб-пауками (поисковыми системами, роботами и аналогичными сущностями) и вашим веб-сайтом. В этой текстовой конфигурации содержатся инструкции для веб-пауков, определяющие, какие страницы подлежат индексации, а какие должны быть исключены из процесса обхода.
Давайте рассмотрим пример простого файла robots.txt:
User-agent: * Disallow: /Здесь перечислено содержимое, которое не должно быть проиндексировано различными поисковыми системами.
User-agent: Yandex Disallow: /В этой части указывается информация, которую поисковый робот Yandex не должен видеть.
Host: вашсайт.ru / Укажите свой домен здесь.
Sitemap: https:// Вставьте ссылку на вашу карту сайта.
Как составить правильную карту сайта - читайте!
Инструкции по интеграции карты сайта в файл robots.txt следующие: Просто добавьте строку, указывающую на местоположение вашей карты сайта, в файл robots.txt.
Давайте разберем файл на части:
User-agent: * указывает на то, что последующие указания применяются ко всем веб-паукам.
Disallow: /личное/ означает, что содержимое папки /личное/ не должно попадать в поисковый индекс.
Disallow: /администратор/ запрещает индексацию содержимого папки /администратор/.
Disallow: /секретная-страница.html объявляет, что определенная страница секретная-страница.html не должна индексироваться.
При настройке файла robots.txt важно адаптировать его к особенностям вашего сайта. Запомните, что это лишь рекомендация, и некоторые веб-пауки могут игнорировать ее.
Не забудьте разместить файл robots.txt в корневой директории вашего сайта и обеспечить доступ по адресу http://www.example.com/robots.txt, где www.example.com - ваш домен.
Мой пример:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/
Disallow: /poisk
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/
Host: https://твой_сайт.ru
Sitemap: https://твой_сайт/карта_сайта.xml