Поисковый робот или паук — это специальная программа, предназначенная для сканирования сайтов. Робот, переходя по ссылкам, индексирует информацию и сохраняет ее в базе поисковых систем.Поисковые роботы GoogleСуществует множество видов различных поисковых роботов, каждый из которых выполняет определенную функцию.У Google основной поисковый робот называется Googlebot — он находит новые страницы и изменения на старых, после чего добавляет информацию в индекс.Googlebot-Image выполняет поиск изображений.Googlebot-Video соответственно отвечает за видео-контент.Googlebot-News добавляет информацию в Google Новости.APIs-Google используется для отправки push-уведомлений.AdsBot-Google, AdsBot-Google-Mobile, AdsBot-Google-Mobile-Apps проверяют качество рекламы на компьютерах, мобильных устройствах и в приложениях.Mediapartners-Google определяет содержание объявлений в AdSense.Подробнее узнать о поисковых роботах Google можно в официальной справке компании.Поисковые роботы ЯндексаОсновной робот Яндекса (YandexBot/3.0) отвечает за поиск новых страниц/сайтов и переиндексацию новых версий ранее известных страниц.Робот-зеркальщик (YandexBot/3.0; MirrorDetector) определяет зеркала сайтов.Робот Яндекс.Картинок (YandexImages/3.0) отвечает за индексацию изображений.Робот Яндекс.Новостей (YandexNews/4.0).Робот, индексирующий фавиконки сайтов (YandexFavicons/1.0).Робот Рекламной сети Яндекса (YandexDirect/3.0) определяет тематику сайтов для подбора более релевантных объявлений.Подробнее о поисковых роботах Яндекса можно в официальной справке компании.Управление поисковыми роботамиПри помощи файла robots.txt или мета-тега <meta name=”robots”/> можно запретить поисковым роботам индексацию определенных страниц. Для этого нужно добавить соответствующие правила, и указать к какому роботу они относятся в директиве User-agent файла robots.txt или атрибуте name мета-тега.Например, нижеприведенный код в файле robots.txt запрещает роботу Яндекс.Картинок индексировать все изображения.User-agent: YandexImagesDisallow: /А этот запрещает главному поисковому роботу Google индексировать страницу, на которой размещен данный тег:<meta name=”googlebot” content=”noindex, follow”/>О том, как правильно настроить индексирование сайта, можно узнать в статье.Ждите новые заметки в блоге или ищите на нашем сайте.
Добавил в закладки, очень полезный материал. Часто бывает нужно указать бота, и приходится лезть в документацию поисковиков.
Предлагаю расширить статью https://www.searchengines.ru/google-speakr.html