Почему сайт внезапно выпал из топа? Большие опасности конкурентных тематик

В высококонкурентных тематиках нередко разворачивается настоящая война: SEO-специалистов, бюджетов, стратегий, и все ради первых мест в заветном топе.

Бывает так, что сайт с высокими позициями в органике вдруг резко проседает или вообще выпадает из выдачи. Произойти такое может по разным причинам, в том числе благодаря стараниями недобросовестных конкурентов. Используя нечестные приемы SEO они освобождают места в ТОПе для себя, чтобы автоматически поднять позиции своих проектов. Чем конкурентнее тематика, ближе сезон и выше позиции сайта, тем выше вероятность, что конкуренты захотят вытеснить его любыми методами. Недавно мы попали как раз в такую ситуацию. Немалых усилий стоило ликвидировать урон. Зато в результате мы смогли не просто вернуть сайт на исходные позиции, а и подняв его в ТОП 3.Но не только злонамеренные действия конкурентов могут привести к внезапному падению в органике. Рассказываем, что случилось с нашим сайтом. И что может случиться с вашим :)

Клиент — центр стоматологии, основное направление — имплантация зубов.
В сентябре 2020-го мы заключили договор о SEO-продвижении сайта.

Большая часть первостепенных SEO-задач были выполнены в первые два месяца.

В сентябре-октябре мы закрыли самые важные контентные и технические стороны оптимизации сайта стоматологической клиники. Но описывать их здесь подробно будет лишним, — если желаете, вы можете легко ознакомиться со списком на нашем сайте по ссылке.

Анализируя исходные данные на старте проекта, мы обратили внимание, что помимо типичных ошибок, наблюдался неественно резкий рост переходов длительностью до 9 секунд. Он случился за месяц до запуска проекта.

Из-за этого показатель отказов с обычных 5 - 10% взлетел до 25,4%. Это отразилось на поведенческих показателях и, соответственно, на позициях сайта.

Точно определить, почему на сайт обрушилось такое количество низкокачественного трафика при первичном разборе проекта не удалось. Для этого понадобились более глубокие аналитические аудиты. Мы убедились, что за последние 3 месяца никаких действий, могущих спровоцировать такую ситуацию, не проводилось. Ни с нашей стороны, ни со стороны специалистов клиента.

С учётом этого и высокой конкуренции в нише, основной гипотезой было то что нас демпингуют конкуренты. Мы уже сталкивались с подобным в других проектах, чаще это случается в нишах с очень высокой конкуренцией.

Проверив анкоры в анкор-листе, мы обнаружили там много всем известных слов, очевидно мало относящихся к стоматологии.

Главные “странности” ожидали нас впереди. Но тогда мы просто вычистили ссылочный профиль от спама, и продолжили спокойно работать над продвижением сайта стоматологической клиники.
Через 6 месяцев после начала работ сайт клиники был в ТОП 5 по всем основным запросам.

Следующие 4 месяца позиции сохранялись, органический трафик стабильно рос.

В конце июля ситуация резко ухудшилась. По большинству приоритетных запросов сайт просел на 5 – 7 позиций, а по некоторым вообще выпал из поиска.

Поскольку позиции сайтов мы мониторим постоянно, падение обнаружили сразу и начали действовать.

Первым делом нужно было понять, почему сайт упал. Возможных причин десятки и найти нашу можно только методом исключения. Сначала мы проверили наиболее вероятные варианты, которые перечислим ниже. Но в конечном счёте выяснилось, что поисковики пессимизировали сайт за неуникальный контент.

Идея проверить тексты на уникальность появилась только после того, как мы исключили все типичные причины проседания сайта. Ведь весь текстовый контент мы добавляли на сайт только после тщательной проверки на уникальность, переспам, воду и т.д. Более того, каждый текст вычитывался сотрудниками клиники, поскольку проект относится к YMYL-тематике и требования к качеству и экспертности такого контента у поисковых систем жёсткие (о YMYL для медицинских сайтов мы рассказываем тут).

Поэтому идея, что на сайте что-то не так с контентом, вначале даже не рассматривалась.

Результаты проверки неприятно удивили. Сомнений не было — мы столкнулись с вредоносным SEO, а конкретно с парсингом контента.

Этот приём нечестные оптимизаторы обычно используют, чтобы наполнить сайты клиентов текстами не платя за их написание. Или с целью подвести конкурентов по фильтры поисковиков за плагиат контента.

Обычно алгоритмы Яндекса и Гугла умеют определять сайт-первоисточник текстов и ранжировать его выше “самозванца”. Но на деле так бывает не всегда. Нередки случаи, когда авторитетный с точки зрения поисковиков сайт крадет контент у молодого ресурса, а алгоритм отдаёт ему преимущество при ранжировании. А молодую площадку в лучшем случае проигнорирует, в худшем пессимизирует за неуникальные тексты.

Бывает и так: программы-парсеры перехватывают контент с сайта до того, как его проиндексируют поисковые системы. Тогда ресурс, на котором его размещают, автоматически превращается в первоисточник. Обидно, но доказать потом, что вы разместили текст раньше — невозможно.

В нашем конкретном случае конкуренты даже не стремились украсть тексты — их главной задачей было целенаправленно испортить наш контент. Они размещали его на страницах десятков сторонних сайтов, иногда откровенно мусорных, чтобы в конечном счете свести на нет показатели уникальности текстов.

С парсингом контента может столкнуться любой сайт, но чаще всего таким атакам подвергаются ресурсы из ниш с высокой конкуренцией, как в нашем случае.

Мы не стали искать правды, отправляя жалобы в техподдержку поисковых систем. Из собственного опыта знаем, что такие разбирательства гарантированно занимают много времени, а положительный результат дают редко. Для нас было важно как можно быстрее восстановить позиции сайта, поскольку проседание уже отразилось на трафике.

Было решено в экстренном порядке переработать все скопированные тексты и установить на сайте защиту на контент. В первую очередь обновили контент на приоритетных страницах, затем постепенно уникализировали остальные тексты.

Способов защитить сайт от парсинга достаточно много. Можно установить запрет на выделение текста, это делается с помощью несложного скрипта:

1. Использование скрипта для запрета копирования:

2. Запрет выделения текста в CSS-стилях

Можно вовсе запретить копирование в буфер обмена, подключить сервис reCAPTCHA, настроить блокировку ботов по IP, настроить добавление ссылок в скопированный текст или замену символов.

Но нужно понимать, что эффективность таких методов часто ниже, чем желание конкурентов вас обойти. На каждую эффективную систему защиты сайта, придумано несколько способов её обхода. Более того - защита контента может помешать продвижению самого сайта.

Большинство автоматических парсеров работают по тем же принципам, что и поисковые роботы. Если вы делаете контент недоступным для парсеров, соответственно, поисковики их тоже не увидят. На сайте клиники мы установили запрет копирования. Это достаточно эффективный, но в то же время щадящий относительно SEO метод. Сайт остаётся доступным для краулеров Google и Яндекса.

Пример результатов анализа контента на уникальность после обнаружения клонирования контента с сайта на низкокачественных площадках:

Проделав всю эту колоссальную работу, мы восстановили позиции сайта в выдаче по всем основным запросам:

Масштабное обновление контента, вместе со множеством других SEO-работ по сайту, вывело в ТОП и многие другие ключи, которых занимали до этого позиции пониже. Так вот, ценный коммерческий запрос «центр имплантации москва», который вообще выпал из выдачи после атаки — поднялся на две позиции выше, чем был до падения. И достиг ТОП 3, где находится на момент написания статьи:

Причина резкого падения сайта конкретно в этом случае типичная. Обычно в таких ситуациях позиции снижаются постепенно по мере того, как тексты «перемещаются» на сайты конкурентов. Чем больше украденного контента поисковики идентифицируют как неуникальный, тем ниже ранжируется сайт. А вот когда из-за парсинга сайт проседает так внезапно и сильно — довольно редкая. Но вполне возможная. Чтобы добиться такого эффекта, беспринципные специалисты конкурентов подкрутили некачественные ссылки, искусственно ухудшали показатель отказов.

Что именно из этого и в какой конкретно степени повлияло на падение позиций — не знают даже авторы этих атак. Не исключено также, что их несколько, и они работали, не согласовывая действия друг с другом. Но и выяснять это мало полезно. Важнее знать, где искать причины проседаний — и как их затем исправить.

Ниже краткий список основных причин, которые мы исключили в ходе поиска проблемы, прежде чем таким методом добрались до проверки текстов.

Если вы столкнулись с одной из них, или подозреваете, что столкнулись — наши специалисты готовы проконсультировать вас. Заказать консультацию вы можете через форму на нашем сайте.

Фильтры накладываются поисковиками автоматически, если роботы обнаруживают на страницах переспам, неестественные ссылки, скрытый текст, некачественный контент или другие запрещенные способы оптимизации.

Санкции накладываются вручную модераторами поисковых систем за нарушения правил и/или рекомендаций продвижения сайтов. Модератор может пессимизировать весь сайт, отдельные разделы или страницы.

И то и другое может понизить сайт в выдаче на пять, десять и даже сто позиций. Может и вовсе выкинуть из результатов.

Чтобы исправить ситуацию, нужно найти и устранить причину наложения санкций. Других вариантов нет. Если не получается сделать это своими силами, можно обратиться в службу поддержки. Если санкции были наложены, после устранения нарушений нужно запросить повторную проверку. Если сайт попал под автоматический фильтр, придётся приложить немало усилий для его снятия, тут можно обратится в саппорт Яндекса или изучить рекомендации для вебмастеров от Google.

Мы проверили данные сайта в Search Console и Яндекс.Вебмастер — ни у Яндекса ни у Google претензий к ресурсу не было:

Основные фильтры Google и Яндекса

Задача поисковых фильтров — не допустить, чтобы на первые страницы выдачи попали сайты:

• мошеннические,
  
• распространяющие спам,
• с накрученными поведенческими факторами,
• с неуникальным, некачественным или не соответствующим тематике контентом,
• с избытком рекламы,
• не удобные для пользователей.
  

У обоих поисковиков множество фильтров, но в снижении позиций чаще всего «виноваты»:

• «Панда» (Panda) — сигнал ранжирования в поиске Google, который оценивает качество контента на сайте, количество рекламы, юзабилити, поведенческие факторы.
• «Пингвин» (Pinguin) — ещё один гугловский фильтр, который наказывает сайты за искусственное наращивание внешних ссылок и их плохое качество (ссылки с сайтов с плохой репутацией или не подходящей тематикой).
• Фильтр аффилиатов — вычисляет сетки из одинаковых сайтов, которые создаются нечестными компаниями, чтобы занять больше позиций в видимой части выдачи. Такой фильтр есть и у Яндекса, и у Гугл.
• АГС — аналог «Панды» в Яндекс.Поиске. Фильтр накладывается на сайты с некачественным контентом, плохим юзабилити, накрученными поведенческими факторами. Также пессимизирует или полностью банит ресурсы, зарабатывающие на продаже внешних ссылок и рассылке спама.
• «Минусинск» — делает тоже, что и «Пингвин» Гугла: понижает сайты с большим количеством искусственных внешних ссылок.
• «Баден-Баден» — исключает из выдачи Яндекса сайты с переоптимизированным контентом.
  

Единственный способ не попасть под эти и другие поисковые фильтры — не использовать серые и тем более чёрные приёмы оптимизации. Наше агентство на 100% работает по этому принципу, поэтому сайты наших партнёров никогда не попадают под санкции поисковых систем.

Если планируется изменение структуры сайта, причем кардинальное, и в первую очередь это отразится на структуре URL-адресов — то зачастую позиции падают, если при переносе контента на новые страницы со старых не настроили 301 редирект. Поисковики продолжают ранжировать старые URL, а по факту это уже 404 страницы.

Продвижение данного сайта клиники стоматологии полностью было на нашей стороне, поэтому мы точно знали, что никаких работ со структурой на сайте не проводилось. Но на всякий случай с помощью Netpeak Spider проверили наличие 404 страниц. Как и предполагали, таковых на сайте не было:

Заметим, что работая с сайтами мы придерживаемся принципа — лучше обновить контент на старой странице, чем создавать новую. Такой подход в разы снижает количество 404 страниц и проблем, которые из-за них возникают.

Сбои в работе серверов случаются чаще, чем хотелось бы. Например, если среди сайтов, размещенных на том же IP-адресе, что и ваш ресурс, есть мошенники или сайты для рассылки спама, поисковики могут полностью заблокировать IP.

Или по каким-то причинам увеличивается время ответа сервера и резко падает скорость загрузки сайта. А это один из основных факторов ранжирования. Если проблемы сохраняются больше, чем один-два дня, рейтинг сайта в поиске может пострадать.

Проверить скорость ответа сервера можно в Яндекс.Вебмастере в разделе Инструменты. Чтобы проверить, не заблокирован ли адрес, нужно познакомиться с соседями по IP с помощью специальных приложений, затем проверить, есть ли они в выдаче.

Все проекты, с которыми работаем, мы подключаем к системе беспрерывного мониторинга доступности Uptimerobot. Как только случаются сбои на серверах, наши seo-оптимизаторы получают уведомление на электронную почту. В этом случае с доступностью проблем не было.

Любые технические ошибки в какой-то степени влияют на позиции сайта. Но есть несколько критичных багов, из-за которых поисковики могут серьёзно наказать ресурс.

Для обеспечения стабильной работы любого сайта рекомендуется не останавливаться лишь на исправлении технических моментов в первые месяцы работы над проектом, но и проводить внутренний технический аудит раз в несколько месяцев (все зависит от движка на котором реализован сайт). Первостепенны для повторного аудита такие моменты:

• Актуальность файл robots.txt
• Обновляемая карта сайта (sitemap.xml)
• Дубли страниц в большом количестве
• Неоптимизированные метатеги
• Отсутствие канонических страниц для товаров или услуг, отображающихся в нескольких категориях
• Низкая скорость загрузки сайта.
  

Если на сайте регулярно не проводится технический аудит, ошибки накапливаются и в конечном итоге сайт проваливается ниже в результатах выдачи. Чтобы восстановить позиции, нужно провести аудит сайта, устранить найденные ошибки.

Вероятность, что наш проект просел по этой причине, была крайне низкой, поскольку на сайте был настроен автоматический мониторинг ошибок. Программа обнаруживала сбои, как только они появлялись, и мы оперативно их устраняли. Но мы провели внеочередной технический аудит, чтобы на 100% исключить эту причину.

Проседание сайтов при запуске нового или апдейте старого поискового алгоритма — частая история.

Основная проблема в этом случае — невозможность понять, какие факторы ранжирования были добавлены и чем именно после апдейта конкретный сайт не угодил поисковым роботам. Представители Google и Яндекс такие подробности не раскрывают и seo-специалистам, поэтому разбираться что пошло не так приходится самостоятельно, вооружившись всеми возможными бубнами.

С каждым обновлением поисковые системы повышают требования к сайтам,- это факт, такой же как и то что нужно всегда делать идеальный продукт, а не ждать пока вас придавят алгоритмы. Сейчас алгоритмы учитывают уже не только качество, разнообразие и релевантность контента, заспамленность, качество внешних ссылок, но и множество других факторов.

Как понять, что позиции упали из-за обновления алгоритма:

• Сайт просел только в одной поисковой системе, в остальных позиции не изменились
• Проверить новости на официальных каналах поисковых систем. Google обычно сообщает об изменениях в алгоритме в своём Твиттере. Яндекс — в блоге для вебмастеров. Но поисковики не всегда рассказывают, что в алгоритме что-то изменилось. Если в новостях ничего подозрительного нет, это не значит, что ничего не изменилось. Поэтому нужно →
  
• Проверить данные в анализаторе апдейтов поисковых машин
  
• Зайти на профильные форумы, группы в социальных сетях и посмотреть, что обсуждают участники. Если обновляется алгоритм или в выдаче происходят существенные изменения, это активно обсуждается в seo-сообществах
  

Восстановить позиции сайта, если он просел после апдейта алгоритма, можно только одним способом: выяснить, почему это произошло, исправить проблему и ждать следующего обновления. Если всё сделано правильно, сайт вернётся на свои позиции.

Писать в поддержку и просить объяснить, за что алгоритм пессимизировал сайт, нет смысла. Яндекс и Google обычно не раскрывают, какие именно факторы ранжирования добавлены в обновленную версию. Остаётся только анализировать конкурентов, у которых позиции выросли, и искать «10 отличий» между их сайтом и вашим.

Вариант проседания нашего проекта из-за обновления алгоритма мы исключили быстро, поскольку никаких признаков не обнаружили:

Качество и количество внешних ссылок — один из главных факторов ранжирования. Резкий рост или снижение обратных ссылок для поисковых роботов первый признак искусственного наращивания ссылочной массы и железный повод пессимизировать сайт. Поэтому нужно тщательно контролировать эти показатели, как и качество сайтов-доноров.

Это вариант мы сразу не исключили из списка причин, потому что ссылочный взрыв может случится не только из-за ошибки оптимизатора. Например, массовой закупки ссылок или несбалансированного/спамного анкор-листа.

Резкий рост некачественных ссылок могут организовать конкуренты, это довольно распространённый приём вредоносного SEO. С этим, как вы помните, наш клиент столкнулся ещё до обращения к нам в RegisTeam.

Проверив динамику ссылочного профиля, никаких аномалий мы не увидели и эту версию также откинули:

Но мысль, что позиции сайта могли пострадать из-за нечестной игры конкурентов, натолкнула на идею проверить другие составляющие поисковой оптимизации, на которые можно повлиять методами вредоносного SEO.

Продвижение клиники стоматологии в городе-миллионнике может обернуться такими сюрпризами, к которым начинающие SEO-специалисты оказываются не готовы (а порой и мидлы). Все понимают, что трафик и позиции — это не просто цифры в таблицах и отчетах. Они создают поток посещений, которые конвертируются в клиентов, покупки и услуги, прибыль, и в конечном счёте — в позиции компании на рынке.

На первой странице органики в таких тематиках нередко разворачивается натурально королевская битва, и чем выше позиции — тем больше находится готовых преступить черту правил поисковых систем (а бывает, что и государственных законов). В рамках описанного проекта мы столкнулись также ещё и с банальными DDоS-атаками, спамом ложных вызовов на входящую линию, и другими подобными “подарками”. Если кейс вам понравится, мы расскажем об этом в следующем материале.

Как же от всего этого защититься? Может быть, обвесить сайт защитными системами и замуровать его накрепко “охранными” скриптами? Но практика показывает, что это далеко не так эффективно, как хотелось бы — принципы войны замка и отмычки работают здесь также, как и везде. При должном желании неизбежно будет взломана любая защита.

Единственный надёжный способ противостоять таким атакам — постоянно мониторить сайт, ежедневно снимать позиции, своевременно реагировать на угрозы. И конечно, знать как выглядят эти угрозы, и как именно им следует противостоять. Для этого лучше нанять прокачанного специалиста, которых в RegisTeam предостаточно, в чём вы можете убедиться, перейдя по этой ссылке.

Хорошая новость в том, что принцип айкидо работает тоже. Нередко бывает, что отражая подобные атаки, вы совершенствуете свой сайт, делаете его ещё лучше, чем он был до нападения. А постоянная бдительность и щепетильное наблюдение за жизненными показателями сайта позволяют вовремя заметить также и многие другие угрозы, никак не связанные со злыми намерениями третьих лиц.

А вот усилия недобросовестных конкурентов нередко оборачиваются для них одними только расходами. Не говоря уже о потерях в карме, если вы в неё верите :)