SEO-факап: как нас выкинуло из поиска «Яндекса»

14 ноября «Яндекс» выкинул половину сайта из индекса без суда и следствия. В чем причина и удалось ли нам восстановить трафик, читайте ниже.

Падение трафика. Зеленые столбики — позиции в поиске за два дня до.<br />
Падение трафика. Зеленые столбики — позиции в поиске за два дня до.

Как мы заметили? У нас на контроле был лонгрид, позиции, которого смотрели каждый день. При очередной проверке увидели, что позиции из блога улетели в никуда.

Что сделали дальше? Проверили Яндекс.Вебмастер на наличие предупреждений. Ничего не обнаружили. Нет ошибок. Просканировали сайт. Изучили Яндекс.Метрику. Проверили хостинг. Перебрали все варианты.

Как нашли проблему? Ввели цитатой часть текста из документа в Яндекс и обнаружили, что вместо нашего сайта выводится тестовый.

Для всех клиентов и своего сайта программисты уже давно обучены тому, что необходимо принимать специальные меры для тестовых сайтов. Как правило, мы сразу в корень закидываем robots.txt закрывающий доступ поисковых роботов.

Результаты поиска по куску текста. В выдаче — тестовый сайт<br />
Результаты поиска по куску текста. В выдаче — тестовый сайт

Что произошло в этот раз? Оказалось, что основной тестовый сервер закрыт как надо, а это второй dev и даже физически не сайт, а просто зеркало. Это зеркало 100% копирует боевой сайт. В том числе открытый robots.txt. Canonical не спасли.

Яндекс проиндексировал зеркало забытого тестового сервера и 14 ноября решил показывать его, вместо основного домена.

В итоге в поиске основной домен улетел в никуда, а тестовое зеркало заняла его место. В сервисе по позициям поэтому мы увидели минуса.

Как Яндекс добрался до этого зеркала? А теперь мы добрались до самого вкусного.

Предложение от Яндекса<br />
Предложение от Яндекса

13 декабря 2018 года Яндекс выкатил интеграцию Метрики и Вебмастера. Наверное это нужно нам, подумали мы и врубили. На всех тестовых у нас стоит контейнер GTM, куда складываются все счетчики аналитики. А внутри Яндекс.Метрики и Google Analytics в фильтрах настроены исключения подмены тестовых, чтобы не портить картину трафика.

Эта интеграция позволяет напрямую передавать данные из Метрики в Вебмастер. Эту информацию Вебмастер, видимо, использует для индексации. Ну и собственно это и есть причина, на мой взгляд, почему так произошло. Больше Яндексу было неоткуда было узнать об этом закрытом от всех зеркалом.

Как исправили ситуацию? Поставили 301-ые редиректы. При этом пришлось физически создать папку с этим доменом и туда закинуть .htaccess. Потому что забытый тестовый был просто зеркалом. Файл с редиректами были страница в страницу. Тестовый в вебмастер Яндекса также решили добавить, но переезд с одного домена на другой решили не делать т.к. не было информации по данным Яндекса о склейке и поэтому не было смысла что-то расклеивать или переезжать.

На следующий день 15 ноября позиции вернулись и ситуация нормализовалась.

Ура, починили!<br />
Ура, починили!

Учитесь на чужих ошибках. Учитывайте новую функцию «Интеграция Метрики и Вебмастера». Это один из источников индексации для Яндекса. Контролируйте его.

Евгений Костров, руководитель агентства Зарядка.

1919
10 комментариев

«Как у нас были руки из жопы, обосрались, но все таки нашли туалетную бумагу и смогли подтереться»

Держите бесплатно заголовок и краткий пересказ. Что дальше? Кейс о том, как забыли запустить сайт и провели 15 аудитов?

8
Ответить

Вот кейс- был у меня некогда клиент, говорит есть проблема- сайт " в говне", хотя раньше были хорошие позиции, уже к нескольким спецам обратился и ничего не помогает, никто не может решить проблему, уже потерял надежду и веру в СЕО и бла-бла-бла. Оказалось что  в результате действий одного из разработчиков все страницы получили приписку .html в конце, а страницы без .html тупо отдавали 404-ю.
А тем временем в роботсе наблюдали:
Disallow: /*html

Такая вот история. Проблему искали 4 разных агентства.

2
Ответить

Комментарий недоступен

Ответить

Тупейшая ошибка чуваки, на уровне джуниоров косяк

4
Ответить

Комментарий недоступен

Ответить

Да было дело, даже disallow в robots не помог, причем счетчики все только в боевой выводились. А дело оказалось в том, что копирайтер вставила пару ссылок с тестового в описания на основном и понеслось... С тех пор все тестовые  - только для внутренней сети,  а внешний доступ под личную ответственность  в htaccess)

1
Ответить

Хорошо помогает закрывать страницы дев-домена на простой инпут с паролем для гостей. Поисковики даже получив страницы не увидят на них контента, потому что он скрыт паролем. Итог - сам поисковик расценит их нерелевантными для выдачи.

Ответить