SEO-факап: как нас выкинуло из поиска «Яндекса»

14 ноября «Яндекс» выкинул половину сайта из индекса без суда и следствия. В чем причина и удалось ли нам восстановить трафик, читайте ниже.

В закладки
Падение трафика. Зеленые столбики — позиции в поиске за два дня до.

Как мы заметили? У нас на контроле был лонгрид, позиции, которого смотрели каждый день. При очередной проверке увидели, что позиции из блога улетели в никуда.

Что сделали дальше? Проверили Яндекс.Вебмастер на наличие предупреждений. Ничего не обнаружили. Нет ошибок. Просканировали сайт. Изучили Яндекс.Метрику. Проверили хостинг. Перебрали все варианты.

Как нашли проблему? Ввели цитатой часть текста из документа в Яндекс и обнаружили, что вместо нашего сайта выводится тестовый.

Для всех клиентов и своего сайта программисты уже давно обучены тому, что необходимо принимать специальные меры для тестовых сайтов. Как правило, мы сразу в корень закидываем robots.txt закрывающий доступ поисковых роботов.

Результаты поиска по куску текста. В выдаче — тестовый сайт

Что произошло в этот раз? Оказалось, что основной тестовый сервер закрыт как надо, а это второй dev и даже физически не сайт, а просто зеркало. Это зеркало 100% копирует боевой сайт. В том числе открытый robots.txt. Canonical не спасли.

Яндекс проиндексировал зеркало забытого тестового сервера и 14 ноября решил показывать его, вместо основного домена.

В итоге в поиске основной домен улетел в никуда, а тестовое зеркало заняла его место. В сервисе по позициям поэтому мы увидели минуса.

Как Яндекс добрался до этого зеркала? А теперь мы добрались до самого вкусного.

Предложение от Яндекса

13 декабря 2018 года Яндекс выкатил интеграцию Метрики и Вебмастера. Наверное это нужно нам, подумали мы и врубили. На всех тестовых у нас стоит контейнер GTM, куда складываются все счетчики аналитики. А внутри Яндекс.Метрики и Google Analytics в фильтрах настроены исключения подмены тестовых, чтобы не портить картину трафика.

Эта интеграция позволяет напрямую передавать данные из Метрики в Вебмастер. Эту информацию Вебмастер, видимо, использует для индексации. Ну и собственно это и есть причина, на мой взгляд, почему так произошло. Больше Яндексу было неоткуда было узнать об этом закрытом от всех зеркалом.

Как исправили ситуацию? Поставили 301-ые редиректы. При этом пришлось физически создать папку с этим доменом и туда закинуть .htaccess. Потому что забытый тестовый был просто зеркалом. Файл с редиректами были страница в страницу. Тестовый в вебмастер Яндекса также решили добавить, но переезд с одного домена на другой решили не делать т.к. не было информации по данным Яндекса о склейке и поэтому не было смысла что-то расклеивать или переезжать.

На следующий день 15 ноября позиции вернулись и ситуация нормализовалась.

Ура, починили!

Учитесь на чужих ошибках. Учитывайте новую функцию «Интеграция Метрики и Вебмастера». Это один из источников индексации для Яндекса. Контролируйте его.

Евгений Костров, руководитель агентства Зарядка.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Зарядка для бизнеса", "author_type": "self", "tags": [], "comments": 10, "likes": 14, "favorites": 45, "is_advertisement": false, "subsite_label": "seo", "id": 94192, "is_wide": false, "is_ugc": true, "date": "Tue, 26 Nov 2019 16:37:56 +0300", "is_special": false }
0
{ "id": 94192, "author_id": 355986, "diff_limit": 1000, "urls": {"diff":"\/comments\/94192\/get","add":"\/comments\/94192\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/94192"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199127, "last_count_and_date": null }
10 комментариев
Популярные
По порядку
Написать комментарий...
6

«Как у нас были руки из жопы, обосрались, но все таки нашли туалетную бумагу и смогли подтереться»

Держите бесплатно заголовок и краткий пересказ. Что дальше? Кейс о том, как забыли запустить сайт и провели 15 аудитов?

Ответить
2

Вот кейс- был у меня некогда клиент, говорит есть проблема- сайт " в говне", хотя раньше были хорошие позиции, уже к нескольким спецам обратился и ничего не помогает, никто не может решить проблему, уже потерял надежду и веру в СЕО и бла-бла-бла. Оказалось что  в результате действий одного из разработчиков все страницы получили приписку .html в конце, а страницы без .html тупо отдавали 404-ю.
А тем временем в роботсе наблюдали:
Disallow: /*html

Такая вот история. Проблему искали 4 разных агентства.

Ответить
0

Нормальная история, жизненная. Похожий случай: в роботс был закрыт от индексации весь сайт🤣

Ответить
0

Ренат, руки в говне оказались от новой фичи Яндекс.Вебмастер. Об этом речь. Поделились для тех, кто не закрывает тестовые авторизацией принципиально. 

Ответить
3

Тупейшая ошибка чуваки, на уровне джуниоров косяк

Ответить
0

Аян, круто, что вы у нас такой идеальный ;)

Ответить
0

прекрасная работа с негативом (нет)

Ответить
0

Прекрасный троллинг (нет)

Ответить
1

Да было дело, даже disallow в robots не помог, причем счетчики все только в боевой выводились. А дело оказалось в том, что копирайтер вставила пару ссылок с тестового в описания на основном и понеслось... С тех пор все тестовые  - только для внутренней сети,  а внешний доступ под личную ответственность  в htaccess)

Ответить
0

Хорошо помогает закрывать страницы дев-домена на простой инпут с паролем для гостей. Поисковики даже получив страницы не увидят на них контента, потому что он скрыт паролем. Итог - сам поисковик расценит их нерелевантными для выдачи.

Ответить
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovx", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "disable": true, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cgxmr", "p2": "gnwc" } } } ] { "page_type": "default" }