Как удалить ссылки из Яндекса: пошаговое руководство по деиндексации

Столкнулись с необходимостью убрать страницу из поиска Яндекса? Паника в сторону. Иногда удалить страницу из индекса так же важно, как и добавить новую. Мусорные дубли, устаревшие акции, случайно «засвеченные» тестовые разделы - все это ослабляет ваш сайт и мешает продвижению.

Короче, сейчас на пальцах объясню, как быстро и надежно вычистить из Яндекса все ненужное. Поехали!

Если время горит, и страницу нужно было «убрать еще вчера», вот ваш экстренный чек-лист. Выберите свой сценарий и действуйте.

Сценарий 1: страница больше не нужна. Никогда.
Что делать: настройте на сервере ответ 410 (это лучший сигнал для Яндекса) или, на худой конец, 404. Затем: Зайдите в Яндекс.Вебмастер → Инструменты → Удаление страниц и добавьте туда ссылку. Проверка: Убедитесь, что страница убрана из sitemap.xml и на нее не ведут внутренние ссылки.
Сценарий 2: страница нужна, но не в поиске. (например, страница для рассылки)
Что делать: добавьте в код страницы мета-тег <meta name="robots" content="noindex, nofollow">.Важно: Убедитесь, что эта страница НЕ закрыта в robots.txt. Иначе робот Яндекса просто не увидит вашу команду noindex.Затем: В идеале, запросите переобход страницы в Вебмастере, чтобы ускорить процесс.
Сценарий 3: массовое удаление «мусора» (страницы поиска, фильтров, пагинации)
Что делать: для еще не проиндексированных страниц - используйте директиву "Disallow" в robots.txt.Для уже проиндексированных: Используйте инструмент «Удаление страниц по префиксу» в Вебмастере (например, для всех ссылок, начинающихся с /search/).Для параметров в ссылках (?sort=, ?price=): Используйте инструмент Clean-param в robots.txt или Вебмастере.
Сценарий 4: конфиденциальные данные на чужом сайте.
Что делать: немедленно пишите в поддержку Яндекса через форму «Права на забвение». Аргументированно, с доказательствами. Параллельно: попытайтесь связаться с владельцем сайта и попросить удалить информацию.

«Инструмент удаления в Вебмастере - это как обезболивающее: он дает быстрый, но временный эффект. Настоящее лечение - это правильная настройка на вашем сервере (код 410) или в коде страницы ("meta noindex"). Без этого “болезнь” вернется».
- Александр Лунегов

Не все страницы одинаково полезны. Вот типовые «пациенты» на удаление:

Технические дубли. Страницы с метками, страницы пагинации (/page-2/), версии для печати, результаты поиска по сайту, страницы после применения фильтров и сортировок. Особенно актуально для интернет-магазинов, где одна и та же категория товаров может иметь сотни адресов. Например, на сайтах, сделанных на 1С-Битрикс, неправильная настройка фильтров - одна из главных причин появления «мусорных» страниц, и за этим нужно следить. Если вас интересуют особенности продвижения на этой системе управления контентом, мы подробно разбирали их в статье про СЕО-продвижение сайта на 1С-Битрикс.
Устаревший контент. Страницы с прошедшими акциями, снятые с продажи товары, неактуальные новости.
Конфиденциальная информация. Случайно попавшие в индекс личные данные, тестовые разделы, внутренние документы.
Страницы после редизайна. Старые ссылки, которые не были корректно перенаправлены на новые.
Негатив на чужих сайтах. Клевета, устаревшая информация о вас. Тут в дело вступает «право на забвение».

Основной принцип простой: нужно изменить статус страницы И сообщить об этом изменении Яндексу. Весь процесс деиндексации - это по сути правильная индексация сайта, только с обратным знаком.

Чтобы вы не запутались, я свел все основные методы в одну таблицу. Выбирайте инструмент под вашу задачу.

Как удалить ссылки из Яндекса: пошаговое руководство по деиндексации

Это самый быстрый, но и самый временный способ. Он нужен, чтобы выиграть время.

Подтвердите права на сайт в Яндекс.Вебмастере (если еще не сделали).
Перейдите в раздел Инструменты → Удаление страниц из поиска.
Вставьте ссылки, который нужно удалить, или префикс (например, /search/, чтобы удалить все страницы поиска).
Выберите причину и нажмите «Удалить».

Важно: Этот инструмент - лишь просьба к Яндексу. Если сама страница по-прежнему доступна и отдает код 200, рано или поздно она вернется в поиск. Поэтому всегда подкрепляйте это действие одним из серверных методов ниже.

Этот метод идеален, когда сама страница нужна (например, для доступа по прямой ссылке), но в результатах поиска ей делать нечего.

Откройте HTML-код нужной страницы.
Внутри тега <head> добавьте строку: html <meta name="robots" content="noindex, nofollow">
noindex - запрещает индексировать содержимое страницы.nofollow - запрещает роботу переходить по ссылкам на этой странице.

Самая частая ошибка: Закрыть в robots.txt страницу, на которую вы добавили noindex. Робот упрется в robots.txt, не дойдет до страницы, не увидит тег noindex и… не удалит ее из индекса. Запомните: чтобы робот увидел noindex, страница должна быть открыта для сканирования.

Этот файл - как фейс-контроль для поисковых роботов. Он говорит, куда им можно заходить, а куда - нет.

Запомните: robots.txt НЕ удаляет страницы, которые уже находятся в индексе. Он лишь запрещает роботу их посещать в будущем. Если страница уже в поиске, она там и останется «замороженной».

Используйте его, чтобы предотвратить попадание в индекс целых разделов.

Пример правильного использования:

User-agent: Yandex

Disallow: /search/

Disallow: /tmp/

Для борьбы с «мусорными» параметрами в ссылке (?page=, ?sort=, ?brand=) у Яндекса есть мощный инструмент - Clean-param. Он добавляется прямо в robots.txt и указывает роботу, какие параметры не влияют на контент и их можно игнорировать.

Пример для интернет-магазина:

User-agent: Yandex

Clean-param: sort&order /catalog/

Это команды, которые отдает ваш сервер, когда робот или пользователь пытается зайти на страницу.

404: «Не найдено». Страницы здесь нет. Робот поймет, но может зайти позже перепроверить.
410: «Удалена». Страница здесь была, но ее удалили навсегда. Это самый четкий и сильный сигнал для Яндекса. Он действует быстрее и надежнее, чем 404.

Когда использовать? Всегда, когда вы удаляете страницу навсегда. Устаревший товар, неактуальная статья, ошибочно созданная страница - все это кандидаты на 410 код.

Что делать, если нужно убрать из индекса не HTML-страницу, а, например, PDF-файл, документ Word или картинку? В их код ведь meta noindex не вставишь.

Для этого и существует X-Robots-Tag. Это тот же noindex, но он передается не в коде страницы, а в заголовках сервера. Настроить его сложнее (потребуется помощь разработчика или админа), но это единственный способ управлять индексацией не-HTML файлов.

Пример для Nginx:

location ~* \.(pdf|docx)$ {

add_header X-Robots-Tag "noindex, nofollow";

}

Отправили сигнал и ждете? Можно и быстрее.

Переобход в Вебмастере. После того как настроили 410 или noindex, зайдите в Вебмастер → Инструменты → Переобход страниц и добавьте туда ссылки. Это прямая просьба роботу зайти на страницу как можно скорее.
Уберите внутренние ссылки. Пока на страницу ведут десятки ссылок с вашего же сайта, робот считает ее важной. Уберите все упоминания удаленной страницы из меню, статей, футера.
Используйте IndexNow. Это новый протокол, который напрямую уведомляет поисковики (Яндекс и Bing) об изменениях на сайте. Настроить его один раз - и страницы будут улетать из индекса почти мгновенно.

Сложнее, но тоже возможно.

Шаг 1: связаться с владельцем. Самый цивилизованный способ. Найдите контакты на сайте (раздел «Контакты») и вежливо напишите письмо. Шаблон письма: «Здравствуйте, [Имя владельца/редактора]!Меня зовут [Ваше имя]. На вашем сайте по адресу [адрес страницы] размещена информация, которая [является неактуальной / нарушает мои авторские права / содержит мои персональные данные]. [Кратко и вежливо объясните причину]. Прошу вас удалить данную страницу или информацию. В приложении - доказательства [например, скриншоты, документы]. Спасибо за понимание».
Шаг 2: воспользоваться «правом на забвение». Если на чужом сайте размещены ваши персональные данные, недостоверная или неактуальная информация, вы можете подать жалобу напрямую в Яндекс. Для этого есть специальная форма. Процесс небыстрый, потребуются доказательства, но он работает.

Поисковые операторы: Самый простой способ. Введите в поиске Яндекса:
site:vashsite.ru/page (проверяет наличие конкретной страницы в индексе).
Яндекс.Вебмастер: самый надежный способ.
Зайдите в раздел Индексирование → Страницы в поиске. Переключитесь на вкладку Исключенные. Найдите там свою ссылку и посмотрите на статус. Если написано «Код 410» или «Запрет в мета-теге» - все отлично, вы своего добились.

Сколько времени занимает полное удаление страницы? От 2-3 дней (если использовать 410 + переобход) до 2-3 недель (если просто поставить 404).
Что делать, если страница никак не удаляется? Проверьте по чек-листу: 1) Точно ли она отдает код 404/410? 2) Нет ли на нее редиректов? 3) Не заблокирована ли она в robots.txt (если используете noindex)? 4) Убрали ли вы все внутренние ссылки?
В чем разница между noindex и Disallow в robots.txt? Disallow - это как сказать роботу: «Не входи в эту комнату». Он не войдет и не узнает, что там. noindex - это как повесить в комнате табличку: «Не рассказывай никому об этой комнате». Робот должен войти, чтобы увидеть табличку. Они не заменяют, а дополняют друг друга.
Можно ли удалить страницу из кэша, но оставить в поиске? Да, для этого используется мета-тег <meta name="robots" content="noarchive">. Страница останется в поиске, но у нее не будет сохраненной копии.
А если на мою удаленную (404) страницу ведут внешние ссылки? Она удалится? Да, удалится. Сигнал от вашего сервера (404/410) для Яндекса важнее, чем внешние ссылки.

Управление индексацией - это не разовая акция, а постоянная гигиена сайта. Правильно удаляя ненужные страницы, вы делаете сайт чище, понятнее для поисковых систем и удобнее для пользователей. А это прямой путь к хорошим позициям и трафику.

Если чувствуете, что запутались, или хотите, чтобы профессионалы взяли эту рутину на себя - вы знаете, где нас найти.

Хотите такой же детальный разбор для вашего сайта? Свяжитесь со мной, и мы превратим ваш сайт в машину для привлечения клиентов.
Пишите в форму обратной связи!