Как падение сервера влияет на SEO и что делать, если страницы исчезли из выдачи

SEO-эксперт Selectel рассказывает, почему на сайте появляется ошибка 500, чем это опасно для SEO и как быть, если страница или весь сайт пропали из поисковой выдачи.

Как падение сервера влияет на SEO и что делать, если страницы исчезли из выдачи
Марина Киреева
Специалист по продвижению сайтов

В чем причина падения

Падение сервера — это проблема (ошибка) на стороне сервера, связанная с обработкой HTTP-запроса пользователя к сайту. Простыми словами, сайт «упал», и сервер перестал обрабатывать запросы пользователей.

Какие могут быть причины:

  • использование в CMS двух несовместимых (конфликтующих) плагинов;
  • неверный синтаксис файла .htaccess;
  • нехватка оперативной памяти сервера при выполнении скрипта;
  • скрипты сайта с неправильными сценариями;
  • DDoS-атака;
  • аппаратные сбои.

Когда сервер не отвечает, пользователи вместо контента страницы видят сообщение с кодом 5хх. Например, так выглядит страница Google:

Как падение сервера влияет на SEO и что делать, если страницы исчезли из выдачи

Последствия для SEO

Ухудшение поведенческих факторов: увеличение количества отказов. Самая предсказуемая реакция посетителей, особенно покупателей, которые столкнулись с ошибкой 500. Пользователи закрывают сайт или страницу и продолжают поиск дальше на другом ресурсе.

Потеря позиций в выдаче. Такое возможно при ухудшении показателя поведенческих факторов. Для формирования выдачи Яндекс, например, использует попарное сравнение с аналогичным по наполнению документом. И если у вашего ресурса будут хуже оценки по другим характеристикам (а при падении сервера вероятность очень велика), то пессимизация в выдаче обеспечена.

В зависимости от масштаба бедствия при следующем посещении роботом веб-ресурса, если проблему с падением сервера не исправить, может произойти следующее.

  • Удаление страницы из выдачи, если был недоступен только один документ. Трафик посетителей будет потерян только на конкретную проблемную страницу.
  • Удаление сайта из выдачи. Самый нежелательный исход, так как нет гарантии возвращения веб-ресурса на те же позиции, которые он занимал прежде в поисковой выдаче, особенно если сайт многостраничный.

Краулеры поисковых систем постоянно собирают актуальную информацию обо всех страницах сайта, чтобы предоставлять пользователям самую свежую и подходящую по запросу.

Краулер — это робот поисковой системы, который обходит все документы (страницы) интернета и заносит информацию с них в базу данных. И если интернет принято считать Всемирной паутиной, то краулер в ней — это паук, перемещающийся между связанными нитями и учитывающий каждую деталь и ссылку.

Администратор сайта может самостоятельно инициировать появление робота, например, отправить страницу на переобход в вебмастере поисковой системы, разместить ссылку на определенную страницу на авторитетном ресурсе или настроить периодичность обновления контента с помощью XML-карты сайта. Но точно спрогнозировать, когда именно будет происходить оценка сайта на соответствие, невозможно.

Существует огромное количество факторов ранжирования. По некоторым данным, у Яндекса их больше 1900. Но одним из самых важных все же остается доступность сайта или конкретной страницы для пользователя. И если на ресурсе будут неполадки, а тем более отказ в доступе к серверу, то спустя какое-то время робот перестанет считать информацию с него полезной и сайт начнет терять позиции в выдаче.

У Google более 200 основных критериев. В «Инструкции для асессоров» говорится, что для витальной — наиболее высокой — отметки важна доступность страницы и веб-сайта.

Асессоры — люди, оценивающие контент на каждой конкретной странице.

Разберем два реальных примера, как упавший сервер повлиял на доступность веб-ресурсов.

Удаление страницы медицинской организации из выдачи

Сотрудник медицинской компании установил для одной из страниц плагин, несовместимый с CMS. Всю работу он вел вечером, в результате страница была недоступна около 12 часов.

<i>Утренний скриншот с TopSite. Страница удалена из выдачи Яндекса.</i>
Утренний скриншот с TopSite. Страница удалена из выдачи Яндекса.

Так как сайт сам по себе небольшой, на нем около 100 страниц, поисковому роботу Яндекса было проще отслеживать изменения. Реакция на 500 код последовала быстро, и поисковик удалил документ из выдачи.

Массовая потеря позиций у сайтов

В личном блоге SEO-специалист Евгений рассказывает про опыт столкновения с DDoS-атаками на хостинг и падением сервера. На скриншоте ниже показано падение просмотров до нуля на одном из ресурсов с хорошей ежедневной посещаемостью.

Как падение сервера влияет на SEO и что делать, если страницы исчезли из выдачи

Также, по наблюдениям Евгения, 15 сайтов, находившихся на упавшем сервере, сильно просели в позициях. При этом восемь из них потеряли часть страниц в выдаче.

Что делать, если страница или сайт исчезли из выдачи

Чем быстрее вы найдете и исправите проблему, тем меньше вероятность негативного результата.

После первого сканирования поисковый робот вернется для проверки повторно. И если код ответа документа или всего ресурса изменился на 200, то последствий для SEO-оптимизации может и не быть.

Но если все же страница или сайт пропали из выдачи, вот небольшой план действий, как постараться их вернуть.

Шаг 1. Обозначьте масштаб и определите, что именно вылетело: один документ (страница) или весь веб-ресурс.

Шаг 2. Как можно быстрее определите причину и устраните ее. Возможно, для этого придется обратиться к разработчикам или системному админитратору.

Рассмотрим подробнее, как можно исправить неполадки в зависимости от вида проблемы.

  • Несовместимые плагины. Достаточно распространенная ситуация, когда новый плагин некорректно взаимодействует с CMS, а страницы просто недоступны. Самое простое решение — заменить плагин.
  • Неверный синтаксис .htaccess. Тот самый случай, когда ошибка в одной букве может отключить весь сайт. И чем скорее ее найти и исправить, тем больше шансов вернуть все на свои места.
  • Недостаточный объем оперативной памяти. Решение — увеличить объем. В целом при расширении онлайн-бизнеса важно учесть возможность автоматического масштабирования, чтобы в самый ответственный момент (например, во время распродажи) ресурс оставался доступным.
  • Скрипты сайта с неправильными сценариями. Чтобы избежать появления 500 ошибки, желательно тестировать код на стороннем ресурсе. Если же проблема уже появилась, нужно срочно изменить скрипт.
  • DDoS-атака. Хорошее решение для защиты сайт — подключить межсетевой экран и файрвол, они помогут контролировать и отсеивать подозрительный трафик.

Шаг 3. После исправления всех проблем отправьте страницу или сайт на индексирование в вебмастер поисковой системы, чтобы робот как можно быстрее зафиксировал исправление поломки.

А чтобы исключить или минимизировать последствия возникновения 500 ошибки, рекомендуем еженедельно отслеживать состояние сайта. Для этого существует множество онлайн-сервисов и программ.

Инструменты для контроля сайта

Первые помощники в отслеживании и контроле состояния сайта для веб-мастера, владельца бизнеса и SEO-специалиста — сервисы от популярных поисковых систем: Google Search Console и Яндекс Вебмастер. Оба вебмастера имеют достаточно понятный интерфейс, с которым легко разобраться даже новичку.

Например, в Яндексе во вкладке «Статистика обхода» можно увидеть, какие страницы обошел робот с их кодами ответа.

Как падение сервера влияет на SEO и что делать, если страницы исчезли из выдачи

Также существует огромное количество программ, которые отображают информацию по конкретной странице или списку. В определенных случаях краулер помогает сократить время на поиск проблем. Но нужно помнить, что самый точный источник информации — вебмастер поисковой системы.

Также популярны онлайн-сервисы по отслеживанию состояния сайта. На них можно настроить частоту проверки ресурса — при нахождении каких-либо неполадок сервис сразу же пришлет уведомление на email. Такие инструменты помогут точно отследить период изменений и исключить повторение нежелательных ситуаций.

Как избежать простоя бизнесу

Если ошибку 500 в рамках SEO можно отследить сервисами или нивелировать с течением времени, то для бизнеса обычно не все так просто. По данным Forbes, падение сервера может исчисляться потерей миллионов или даже миллиардов рублей. Так, eBay еще в 1998 году за 24 часа простоя потерял $3 млн. А Skype в 2007 году за два дня стал дешевле на $1 млрд. Проблемы случались и у облачного сервиса Amazon, серверы которого из-за неправильных сетевых настроек не работали в течение четырех дней.

Обычно самый опасный период приходится на моменты распродаж (например, Черной пятницы) или проведения акций, когда серверы не способны выдержать огромную нагрузку от посетителей и выполняемых операций. Именно поэтому очень важно предварительно подготовиться к подобным мероприятиям, чтобы избежать простоя:

  • рассчитать количество возможных онлайн-покупателей в этот день;
  • масштабировать систему под необходимый объем, чтобы исключить ситуацию с недостаточным количеством памяти у сервера.

Также нужно помнить про DDoS-атаки, которые способны принести значительный урон как репутации, так и финансовой составляющей. Поэтому компании все чаще выбирают облачных провайдеров услуг, готовых предоставить качественное обслуживание физических серверов, возможность быстрого масштабирования и защиты от хакерских атак.

Как мы в Selectel следим за доступностью сайта

Нам в Selectel, помимо удобности использования сайта и качественного представления продукта для клиентов, также важна постоянная доступность ресурса. За этим параметром следят сразу несколько команд, как отвечающих за железо, так и маркетинговых.

Чтобы обеспечить бесперебойную работу серверов в Selectel, технические специалисты отслеживают критически важные показатели 24/7, контролируя все — от температуры до нагрузки на конкретную машину.

А вот как это делают SEO-специалисты в департаменте маркетинга:

  • тщательно отслеживают все важные параметры основного сайта и поддоменов с помощью вебмастеров Яндекса и Google;
  • регулярно проводят SEO-аудит с помощью краулеров, чтобы вовремя предупредить появление проблем с отображением страниц, а также скоростью их загрузки;
  • анализируют трафик и его «роботность», чтобы определить «нежелательные» адреса и предупредить DDoS-атаку со своей стороны.

Все это помогает нам поддерживать сайт доступным 24/7.

А как вы сталкивались с падением сервера? Если да, расскажите, как это сказалось на позициях в выдаче и как вы справились с последствиями.

Читайте также

66
Начать дискуссию