{"id":13466,"url":"\/distributions\/13466\/click?bit=1&hash=891d339b00b86120568ea8e4296ded112a42876a976e2fd335004400f35cbd30","title":"\u0427\u0442\u043e \u0441\u043c\u043e\u0442\u0440\u044f\u0442, \u0447\u0438\u0442\u0430\u044e\u0442 \u0438 \u043a\u0443\u0434\u0430 \u0445\u043e\u0434\u044f\u0442 \u0432\u0430\u0448\u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u044b?","buttonText":"\u0423\u0437\u043d\u0430\u0442\u044c","imageUuid":"24bb823c-c595-5fc8-be0f-fba9e89237c2","isPaidAndBannersEnabled":false}
SEO
RegisTeam

Почему сайт внезапно выпал из топа? Большие опасности конкурентных тематик

В высококонкурентных тематиках нередко разворачивается настоящая война: SEO-специалистов, бюджетов, стратегий, и все ради первых мест в заветном топе.

Бывает так, что сайт с высокими позициями в органике вдруг резко проседает или вообще выпадает из выдачи. Произойти такое может по разным причинам, в том числе благодаря стараниями недобросовестных конкурентов. Используя нечестные приемы SEO они освобождают места в ТОПе для себя, чтобы автоматически поднять позиции своих проектов. Чем конкурентнее тематика, ближе сезон и выше позиции сайта, тем выше вероятность, что конкуренты захотят вытеснить его любыми методами. Недавно мы попали как раз в такую ситуацию. Немалых усилий стоило ликвидировать урон. Зато в результате мы смогли не просто вернуть сайт на исходные позиции, а и подняв его в ТОП 3.Но не только злонамеренные действия конкурентов могут привести к внезапному падению в органике. Рассказываем, что случилось с нашим сайтом. И что может случиться с вашим :)

Немного странные дела: краткая предыстория проекта клиники стоматологии

Клиент — центр стоматологии, основное направление — имплантация зубов.
В сентябре 2020-го мы заключили договор о SEO-продвижении сайта.

Большая часть первостепенных SEO-задач были выполнены в первые два месяца.

В сентябре-октябре мы закрыли самые важные контентные и технические стороны оптимизации сайта стоматологической клиники. Но описывать их здесь подробно будет лишним, — если желаете, вы можете легко ознакомиться со списком на нашем сайте по ссылке.

Анализируя исходные данные на старте проекта, мы обратили внимание, что помимо типичных ошибок, наблюдался неественно резкий рост переходов длительностью до 9 секунд. Он случился за месяц до запуска проекта.

Из-за этого показатель отказов с обычных 5 - 10% взлетел до 25,4%. Это отразилось на поведенческих показателях и, соответственно, на позициях сайта.

Точно определить, почему на сайт обрушилось такое количество низкокачественного трафика при первичном разборе проекта не удалось. Для этого понадобились более глубокие аналитические аудиты. Мы убедились, что за последние 3 месяца никаких действий, могущих спровоцировать такую ситуацию, не проводилось. Ни с нашей стороны, ни со стороны специалистов клиента.

С учётом этого и высокой конкуренции в нише, основной гипотезой было то что нас демпингуют конкуренты. Мы уже сталкивались с подобным в других проектах, чаще это случается в нишах с очень высокой конкуренцией.

Проверив анкоры в анкор-листе, мы обнаружили там много всем известных слов, очевидно мало относящихся к стоматологии.

Главные “странности” ожидали нас впереди. Но тогда мы просто вычистили ссылочный профиль от спама, и продолжили спокойно работать над продвижением сайта стоматологической клиники.
Через 6 месяцев после начала работ сайт клиники был в ТОП 5 по всем основным запросам.

Следующие 4 месяца позиции сохранялись, органический трафик стабильно рос.

Внезапное падение сайта. Ключи выпадают из ТОПа

В конце июля ситуация резко ухудшилась. По большинству приоритетных запросов сайт просел на 5 – 7 позиций, а по некоторым вообще выпал из поиска.

Поскольку позиции сайтов мы мониторим постоянно, падение обнаружили сразу и начали действовать.

ВЫЯВЛЯЕМ, ЧТО ПОШЛО НЕ ТАК ПРИ ПРОДВИЖЕНИИ ЦЕНТРА ИМПЛАНТАЦИИ ЗУБОВ

Первым делом нужно было понять, почему сайт упал. Возможных причин десятки и найти нашу можно только методом исключения. Сначала мы проверили наиболее вероятные варианты, которые перечислим ниже. Но в конечном счёте выяснилось, что поисковики пессимизировали сайт за неуникальный контент.

Идея проверить тексты на уникальность появилась только после того, как мы исключили все типичные причины проседания сайта. Ведь весь текстовый контент мы добавляли на сайт только после тщательной проверки на уникальность, переспам, воду и т.д. Более того, каждый текст вычитывался сотрудниками клиники, поскольку проект относится к YMYL-тематике и требования к качеству и экспертности такого контента у поисковых систем жёсткие (о YMYL для медицинских сайтов мы рассказываем тут).

Поэтому идея, что на сайте что-то не так с контентом, вначале даже не рассматривалась.

Результаты проверки неприятно удивили. Сомнений не было — мы столкнулись с вредоносным SEO, а конкретно с парсингом контента.

Этот приём нечестные оптимизаторы обычно используют, чтобы наполнить сайты клиентов текстами не платя за их написание. Или с целью подвести конкурентов по фильтры поисковиков за плагиат контента.

Обычно алгоритмы Яндекса и Гугла умеют определять сайт-первоисточник текстов и ранжировать его выше “самозванца”. Но на деле так бывает не всегда. Нередки случаи, когда авторитетный с точки зрения поисковиков сайт крадет контент у молодого ресурса, а алгоритм отдаёт ему преимущество при ранжировании. А молодую площадку в лучшем случае проигнорирует, в худшем пессимизирует за неуникальные тексты.

Бывает и так: программы-парсеры перехватывают контент с сайта до того, как его проиндексируют поисковые системы. Тогда ресурс, на котором его размещают, автоматически превращается в первоисточник. Обидно, но доказать потом, что вы разместили текст раньше — невозможно.

В нашем конкретном случае конкуренты даже не стремились украсть тексты — их главной задачей было целенаправленно испортить наш контент. Они размещали его на страницах десятков сторонних сайтов, иногда откровенно мусорных, чтобы в конечном счете свести на нет показатели уникальности текстов.

С парсингом контента может столкнуться любой сайт, но чаще всего таким атакам подвергаются ресурсы из ниш с высокой конкуренцией, как в нашем случае.

Что предприняли

Мы не стали искать правды, отправляя жалобы в техподдержку поисковых систем. Из собственного опыта знаем, что такие разбирательства гарантированно занимают много времени, а положительный результат дают редко. Для нас было важно как можно быстрее восстановить позиции сайта, поскольку проседание уже отразилось на трафике.

Было решено в экстренном порядке переработать все скопированные тексты и установить на сайте защиту на контент. В первую очередь обновили контент на приоритетных страницах, затем постепенно уникализировали остальные тексты.

Способов защитить сайт от парсинга достаточно много. Можно установить запрет на выделение текста, это делается с помощью несложного скрипта:

1. Использование скрипта для запрета копирования:

<script type="text/javascript"> document.ondragstart = noselect; // запрет на перетаскивание document.onselectstart = noselect; // запрет на выделение элементов страницы document.oncontextmenu = noselect; // запрет на выведение контекстного меню function noselect() {return false;} </script>

2. Запрет выделения текста в CSS-стилях

<style type="text/css"> /* Отключение возможности выделения в теге DIV */ .noselect { -moz-user-select: none; -webkit-user-select: none; -ms-user-select: none; -o-user-select: none; user-select: none; } </style>

Можно вовсе запретить копирование в буфер обмена, подключить сервис reCAPTCHA, настроить блокировку ботов по IP, настроить добавление ссылок в скопированный текст или замену символов.

Но нужно понимать, что эффективность таких методов часто ниже, чем желание конкурентов вас обойти. На каждую эффективную систему защиты сайта, придумано несколько способов её обхода. Более того - защита контента может помешать продвижению самого сайта.

Большинство автоматических парсеров работают по тем же принципам, что и поисковые роботы. Если вы делаете контент недоступным для парсеров, соответственно, поисковики их тоже не увидят. На сайте клиники мы установили запрет копирования. Это достаточно эффективный, но в то же время щадящий относительно SEO метод. Сайт остаётся доступным для краулеров Google и Яндекса.

Пример результатов анализа контента на уникальность после обнаружения клонирования контента с сайта на низкокачественных площадках:

Чего удалось достичь

Проделав всю эту колоссальную работу, мы восстановили позиции сайта в выдаче по всем основным запросам:

Масштабное обновление контента, вместе со множеством других SEO-работ по сайту, вывело в ТОП и многие другие ключи, которых занимали до этого позиции пониже. Так вот, ценный коммерческий запрос «центр имплантации москва», который вообще выпал из выдачи после атаки — поднялся на две позиции выше, чем был до падения. И достиг ТОП 3, где находится на момент написания статьи:

Почему ещё сайт может резко потерять позиции

Причина резкого падения сайта конкретно в этом случае типичная. Обычно в таких ситуациях позиции снижаются постепенно по мере того, как тексты «перемещаются» на сайты конкурентов. Чем больше украденного контента поисковики идентифицируют как неуникальный, тем ниже ранжируется сайт. А вот когда из-за парсинга сайт проседает так внезапно и сильно — довольно редкая. Но вполне возможная. Чтобы добиться такого эффекта, беспринципные специалисты конкурентов подкрутили некачественные ссылки, искусственно ухудшали показатель отказов.

Что именно из этого и в какой конкретно степени повлияло на падение позиций — не знают даже авторы этих атак. Не исключено также, что их несколько, и они работали, не согласовывая действия друг с другом. Но и выяснять это мало полезно. Важнее знать, где искать причины проседаний — и как их затем исправить.

Ниже краткий список основных причин, которые мы исключили в ходе поиска проблемы, прежде чем таким методом добрались до проверки текстов.

Если вы столкнулись с одной из них, или подозреваете, что столкнулись — наши специалисты готовы проконсультировать вас. Заказать консультацию вы можете через форму на нашем сайте.

Попадание сайта под фильтры или санкции поисковых систем

Фильтры накладываются поисковиками автоматически, если роботы обнаруживают на страницах переспам, неестественные ссылки, скрытый текст, некачественный контент или другие запрещенные способы оптимизации.

Санкции накладываются вручную модераторами поисковых систем за нарушения правил и/или рекомендаций продвижения сайтов. Модератор может пессимизировать весь сайт, отдельные разделы или страницы.

И то и другое может понизить сайт в выдаче на пять, десять и даже сто позиций. Может и вовсе выкинуть из результатов.

Чтобы исправить ситуацию, нужно найти и устранить причину наложения санкций. Других вариантов нет. Если не получается сделать это своими силами, можно обратиться в службу поддержки. Если санкции были наложены, после устранения нарушений нужно запросить повторную проверку. Если сайт попал под автоматический фильтр, придётся приложить немало усилий для его снятия, тут можно обратится в саппорт Яндекса или изучить рекомендации для вебмастеров от Google.

Мы проверили данные сайта в Search Console и Яндекс.Вебмастер — ни у Яндекса ни у Google претензий к ресурсу не было:

Основные фильтры Google и Яндекса

Задача поисковых фильтров — не допустить, чтобы на первые страницы выдачи попали сайты:

  • мошеннические,
  • распространяющие спам,
  • с накрученными поведенческими факторами,
  • с неуникальным, некачественным или не соответствующим тематике контентом,
  • с избытком рекламы,
  • не удобные для пользователей.

У обоих поисковиков множество фильтров, но в снижении позиций чаще всего «виноваты»:

  • «Панда» (Panda) — сигнал ранжирования в поиске Google, который оценивает качество контента на сайте, количество рекламы, юзабилити, поведенческие факторы.
  • «Пингвин» (Pinguin) — ещё один гугловский фильтр, который наказывает сайты за искусственное наращивание внешних ссылок и их плохое качество (ссылки с сайтов с плохой репутацией или не подходящей тематикой).
  • Фильтр аффилиатов — вычисляет сетки из одинаковых сайтов, которые создаются нечестными компаниями, чтобы занять больше позиций в видимой части выдачи. Такой фильтр есть и у Яндекса, и у Гугл.
  • АГС — аналог «Панды» в Яндекс.Поиске. Фильтр накладывается на сайты с некачественным контентом, плохим юзабилити, накрученными поведенческими факторами. Также пессимизирует или полностью банит ресурсы, зарабатывающие на продаже внешних ссылок и рассылке спама.
  • «Минусинск» — делает тоже, что и «Пингвин» Гугла: понижает сайты с большим количеством искусственных внешних ссылок.
  • «Баден-Баден» — исключает из выдачи Яндекса сайты с переоптимизированным контентом.

Единственный способ не попасть под эти и другие поисковые фильтры — не использовать серые и тем более чёрные приёмы оптимизации. Наше агентство на 100% работает по этому принципу, поэтому сайты наших партнёров никогда не попадают под санкции поисковых систем.

Изменения в структуре сайта

Если планируется изменение структуры сайта, причем кардинальное, и в первую очередь это отразится на структуре URL-адресов — то зачастую позиции падают, если при переносе контента на новые страницы со старых не настроили 301 редирект. Поисковики продолжают ранжировать старые URL, а по факту это уже 404 страницы.

Продвижение данного сайта клиники стоматологии полностью было на нашей стороне, поэтому мы точно знали, что никаких работ со структурой на сайте не проводилось. Но на всякий случай с помощью Netpeak Spider проверили наличие 404 страниц. Как и предполагали, таковых на сайте не было:

Заметим, что работая с сайтами мы придерживаемся принципа — лучше обновить контент на старой странице, чем создавать новую. Такой подход в разы снижает количество 404 страниц и проблем, которые из-за них возникают.

Проблемы с сервером

Сбои в работе серверов случаются чаще, чем хотелось бы. Например, если среди сайтов, размещенных на том же IP-адресе, что и ваш ресурс, есть мошенники или сайты для рассылки спама, поисковики могут полностью заблокировать IP.

Или по каким-то причинам увеличивается время ответа сервера и резко падает скорость загрузки сайта. А это один из основных факторов ранжирования. Если проблемы сохраняются больше, чем один-два дня, рейтинг сайта в поиске может пострадать.

Проверить скорость ответа сервера можно в Яндекс.Вебмастере в разделе Инструменты. Чтобы проверить, не заблокирован ли адрес, нужно познакомиться с соседями по IP с помощью специальных приложений, затем проверить, есть ли они в выдаче.

Все проекты, с которыми работаем, мы подключаем к системе беспрерывного мониторинга доступности Uptimerobot. Как только случаются сбои на серверах, наши seo-оптимизаторы получают уведомление на электронную почту. В этом случае с доступностью проблем не было.

Технические ошибки

Любые технические ошибки в какой-то степени влияют на позиции сайта. Но есть несколько критичных багов, из-за которых поисковики могут серьёзно наказать ресурс.

Для обеспечения стабильной работы любого сайта рекомендуется не останавливаться лишь на исправлении технических моментов в первые месяцы работы над проектом, но и проводить внутренний технический аудит раз в несколько месяцев (все зависит от движка на котором реализован сайт). Первостепенны для повторного аудита такие моменты:

  • Актуальность файл robots.txt
  • Обновляемая карта сайта (sitemap.xml)
  • Дубли страниц в большом количестве
  • Неоптимизированные метатеги
  • Отсутствие канонических страниц для товаров или услуг, отображающихся в нескольких категориях
  • Низкая скорость загрузки сайта.

Если на сайте регулярно не проводится технический аудит, ошибки накапливаются и в конечном итоге сайт проваливается ниже в результатах выдачи. Чтобы восстановить позиции, нужно провести аудит сайта, устранить найденные ошибки.

Вероятность, что наш проект просел по этой причине, была крайне низкой, поскольку на сайте был настроен автоматический мониторинг ошибок. Программа обнаруживала сбои, как только они появлялись, и мы оперативно их устраняли. Но мы провели внеочередной технический аудит, чтобы на 100% исключить эту причину.

Изменение или обновление поисковых алгоритмов

Проседание сайтов при запуске нового или апдейте старого поискового алгоритма — частая история.

Шторм выдачи от 6.12.2021

Основная проблема в этом случае — невозможность понять, какие факторы ранжирования были добавлены и чем именно после апдейта конкретный сайт не угодил поисковым роботам. Представители Google и Яндекс такие подробности не раскрывают и seo-специалистам, поэтому разбираться что пошло не так приходится самостоятельно, вооружившись всеми возможными бубнами.

С каждым обновлением поисковые системы повышают требования к сайтам,- это факт, такой же как и то что нужно всегда делать идеальный продукт, а не ждать пока вас придавят алгоритмы. Сейчас алгоритмы учитывают уже не только качество, разнообразие и релевантность контента, заспамленность, качество внешних ссылок, но и множество других факторов.

Как понять, что позиции упали из-за обновления алгоритма:

  • Сайт просел только в одной поисковой системе, в остальных позиции не изменились
  • Проверить новости на официальных каналах поисковых систем. Google обычно сообщает об изменениях в алгоритме в своём Твиттере. Яндекс — в блоге для вебмастеров. Но поисковики не всегда рассказывают, что в алгоритме что-то изменилось. Если в новостях ничего подозрительного нет, это не значит, что ничего не изменилось. Поэтому нужно →
  • Проверить данные в анализаторе апдейтов поисковых машин
  • Зайти на профильные форумы, группы в социальных сетях и посмотреть, что обсуждают участники. Если обновляется алгоритм или в выдаче происходят существенные изменения, это активно обсуждается в seo-сообществах

Восстановить позиции сайта, если он просел после апдейта алгоритма, можно только одним способом: выяснить, почему это произошло, исправить проблему и ждать следующего обновления. Если всё сделано правильно, сайт вернётся на свои позиции.

Писать в поддержку и просить объяснить, за что алгоритм пессимизировал сайт, нет смысла. Яндекс и Google обычно не раскрывают, какие именно факторы ранжирования добавлены в обновленную версию. Остаётся только анализировать конкурентов, у которых позиции выросли, и искать «10 отличий» между их сайтом и вашим.

По задумке разработчиков, после обновления или выкатки нового алгоритма должны просесть сайты, у которых есть проблемы. Понижение позиций в этом случае сигнал для оптимизаторов, что сайт нуждается в улучшении.

На деле не всегда получается, как хочется разработчикам. Поисковые роботы ошибаются и пессимизируют сайты, к которым по факту не за что придраться. Обычно так происходит в первые дни после выкатки обновления, пока алгоритм «учится». Когда обкатка заканчивается, несправедливо наказанные сайты, как правило, возвращаются на свои позиции без каких-либо манипуляций со стороны оптимизаторов. Но не всегда.

Например, в начале октября Яндекс добавил в свой алгоритм новый фактор ранжирования, который оценивает надёжность бизнеса. Да, именно бизнеса, а не сайта. Делает он это на основании отзывов о компании, которые пользователи оставляют на Яндекс.Картах.

С помощью нового фактора поисковик хочет очистить выдачу от мошеннических сайтов. Цель, бесспорно, благородная и важная для пользователей, но, как часто бывает, что-то пошло не так: под раздачу попали не только сайты мошенников. Поисковик заблокировал в Яндекс.Картах ресурсы авторитетных компаний с сотнями отличных отзывов и высоким рейтингом.

И хотя после выкатки обновления прошло уже больше месяца, позиции многих добропорядочных ресурсов так и не восстановились. Попытки доказать, что пессимизация была не обоснованной, результата не дают. Как решить эту проблему, пока не понятно.

Вариант проседания нашего проекта из-за обновления алгоритма мы исключили быстро, поскольку никаких признаков не обнаружили:

Резкие изменения в ссылочном профиле

Качество и количество внешних ссылок — один из главных факторов ранжирования. Резкий рост или снижение обратных ссылок для поисковых роботов первый признак искусственного наращивания ссылочной массы и железный повод пессимизировать сайт. Поэтому нужно тщательно контролировать эти показатели, как и качество сайтов-доноров.

Это вариант мы сразу не исключили из списка причин, потому что ссылочный взрыв может случится не только из-за ошибки оптимизатора. Например, массовой закупки ссылок или несбалансированного/спамного анкор-листа.

Резкий рост некачественных ссылок могут организовать конкуренты, это довольно распространённый приём вредоносного SEO. С этим, как вы помните, наш клиент столкнулся ещё до обращения к нам в RegisTeam.

Проверив динамику ссылочного профиля, никаких аномалий мы не увидели и эту версию также откинули:

Но мысль, что позиции сайта могли пострадать из-за нечестной игры конкурентов, натолкнула на идею проверить другие составляющие поисковой оптимизации, на которые можно повлиять методами вредоносного SEO.

Вывод

Продвижение клиники стоматологии в городе-миллионнике может обернуться такими сюрпризами, к которым начинающие SEO-специалисты оказываются не готовы (а порой и мидлы). Все понимают, что трафик и позиции — это не просто цифры в таблицах и отчетах. Они создают поток посещений, которые конвертируются в клиентов, покупки и услуги, прибыль, и в конечном счёте — в позиции компании на рынке.

На первой странице органики в таких тематиках нередко разворачивается натурально королевская битва, и чем выше позиции — тем больше находится готовых преступить черту правил поисковых систем (а бывает, что и государственных законов). В рамках описанного проекта мы столкнулись также ещё и с банальными DDоS-атаками, спамом ложных вызовов на входящую линию, и другими подобными “подарками”. Если кейс вам понравится, мы расскажем об этом в следующем материале.

Как же от всего этого защититься? Может быть, обвесить сайт защитными системами и замуровать его накрепко “охранными” скриптами? Но практика показывает, что это далеко не так эффективно, как хотелось бы — принципы войны замка и отмычки работают здесь также, как и везде. При должном желании неизбежно будет взломана любая защита.

Единственный надёжный способ противостоять таким атакам — постоянно мониторить сайт, ежедневно снимать позиции, своевременно реагировать на угрозы. И конечно, знать как выглядят эти угрозы, и как именно им следует противостоять. Для этого лучше нанять прокачанного специалиста, которых в RegisTeam предостаточно, в чём вы можете убедиться, перейдя по этой ссылке.

Хорошая новость в том, что принцип айкидо работает тоже. Нередко бывает, что отражая подобные атаки, вы совершенствуете свой сайт, делаете его ещё лучше, чем он был до нападения. А постоянная бдительность и щепетильное наблюдение за жизненными показателями сайта позволяют вовремя заметить также и многие другие угрозы, никак не связанные со злыми намерениями третьих лиц.

А вот усилия недобросовестных конкурентов нередко оборачиваются для них одними только расходами. Не говоря уже о потерях в карме, если вы в неё верите :)

0
39 комментариев
Написать комментарий...
Артем Акулов

Скрипты и css это лайт уровень, что не отменяет их использование на сайте. Хорошая защита от дурака. Повезло, что попались злоумышленники не очень дотошные, такая защита обходится очень легко при желании.

Лучшее решение в дополнение к запрету на копирование - белый клоакинг - подмена одинаково пишущихся русских букв на английские и установка фаервола. Фаервол вообще не даст проксировать сайт для парсинга контента. Защита 99,9%.

0,1% остается на обезьяну, которая будет перепечатывать текст с сайта и затем копировать к себе)))

Ответить
Развернуть ветку
Артём Абловацкий

Звучит как вызов, скинь ссылку на такой сайт. я тебе скину всю его инфу. Все что выводиться на экран можно скопировать. Интернет в целом это спецификация взаимодействия устройств. И нарушать их невозможно. И если фаил передаеться что браузер может его открыть, то его можно спарсить. вопрос только в затратах на степень эмуляции. Единственное решение на сайте которое нельзя спорить это что сайта нет во внешней сети.

Замена букв. очень оригинальное решение сразу видно кукоретиков. Это 2 минуты исправить в текстовом редакторе по логике если это одиночная буква схожая с кириллицей, далее идет кирилличные коды. то производить замену на ее кирилличный эквивалент.

Ответить
Развернуть ветку
Артем Акулов

У меня простое правило - ничего не объяснять дилетантам. Иди дальше накручивай лайки своим статьям. Это твой уровень.

Ответить
Развернуть ветку
Артём Абловацкий

)))) Забавно, слив засчитан. Хоть не вводи людей в заблуждение. Высокоуровневый ты наш.

Ответить
Развернуть ветку
Артем Акулов

Истерика.

Ответить
Развернуть ветку
Артём Абловацкий

Нет просто хотел посмотреть что ты пишешь, Понял что полную чушь и выразил свое мнение. Что то не так?

Ответить
Развернуть ветку
Andrey Simagin

Обходится легче легкого - просто сохранить страницу в браузере на диск и все

Ответить
Развернуть ветку
Артем Акулов

*руками -
Забыл добавить.

Что с 10к страницами делать? Тоже вручную?

Ответить
Развернуть ветку
Andrey Simagin

10к - все тоже самое только парсером с юзер-агентом яндекса или гугла, при условии, что сайт не закрыт от поисковых ботов

Иначе, скорее всего, он нафиг никому ненужен

Ответить
Развернуть ветку
Виктор Петров

А как быть с ограничением по количеству запросов?

Ответить
Развернуть ветку
Артем Акулов

Настраивается правило на cloudflare (например) за пару минут и все запросы глушатся даже не долетая до сервера на котором лежит сайт.

Ответить
Развернуть ветку
Andrey Simagin

Рассчитать адекватное число потоков, либо ставить доп задержки между запросами, если вопрос про это

Ответить
Развернуть ветку
Артём Абловацкий

Прокси.

Ответить
Развернуть ветку
Andrey Simagin

Тоже вариант, только что это недешевое удовольствие в больших количествах

Ответить
Развернуть ветку
Артем Акулов

Установлен фаервол с валидацией поисковых ботов через revers dns. Фейк-боты с поддельным юзер-агентом фильтруются на заглушке и не попадают на сайт, не видят контент, как и множество других ботов. Весь парсинг летит в трубу.

Ответить
Развернуть ветку
Andrey Simagin

А как определить поддельный?
Если я скопирую юзер-агент из браузера - Хрома или ФФ например?

Ответить
Развернуть ветку
Артем Акулов

Валидация через обратный запрос DNS. Изи.

Ответить
Развернуть ветку
Артём Абловацкий

Мобильные прокси, полностью валидные днс будут, не говоря уже о том что можно эмулировать ответ.

Ответить
Развернуть ветку
Артем Акулов

Официальные боты Яндекса и Гугла не ходят с мобильных прокси.

Ответить
Развернуть ветку
Артём Абловацкий

А твой сайт открыт только для ботов? Асессоры яндекса ходят.

Ответить
Развернуть ветку
Артем Акулов

Ты не понимаешь что такое валидация запроса через обратный запрос DNS. Гугли.

Ответить
Развернуть ветку
Vladimir Zdor

Неплохой кейс. Если и правда была проблема в воровстве контента (в принципе, причин сомневаться у меня нет), молодцы!
Одно замечание: резкий всплеск некачественного трафика - это не из-за конкурентной ниши. Сейчас подобное почти везде, где хоть какие-то деньги. Накрутка (в том числе негативная) стала очень доступной и дешевой. И вряд ли всплески, как у вас на скриншоте, на что-то влияют. Что-что, а резкие накрученные скачки трафика/ссылок поисковики умеют различать и игнорировать. Не так нужно мониторить продуманную негативную накрутку, которая реально может навредить.

Но...

Какой-то пост... Наивный что ли )
Топорно вписаны ключи про: 1. Продвижение сайта клиники. 2. Продвижение клиники стоматологии в городе-миллионнике 3. Продвижение центра имплантации зубов и т.д. Понятно, зачем это. И плохого ничего вроде нет. Но вроде по ТЗ из 2005-го написано, где четкое количество вхождений, процент водности, заспамленности и другой лабуды, которая давно не работает.
Не менее топорно, простите, впихнута реклама своих услуг.
В общем, за работу над сайтом твердая петерка, за написание кейса - троечка.

Ответить
Развернуть ветку
Ольга Маньшина

"Топорно вписаны ключи" - мало того, там много чего из разных кластеров. Поэтому просто незачёт.

Ответить
Развернуть ветку
Vladimir Zdor

За кейс да ) Но вроде сайт реально подняли

Ответить
Развернуть ветку
Дмитрий Александрович
Можно установить запрет на выделение текста

Не, слишком очевидное и легко обходимое решение. Мы для одного сайта написали скрипт, который при выделении текста подменяет все русские буквы на идентичные из английской раскладки. И пусть копируют сколько влезет.

Ответить
Развернуть ветку
Артём Абловацкий

Как человек который знаком с парсингом. Там выбирают из html кода все скрипты которые что то меняют на лету просто игнорируется. Так что это зашита сработает только от пользователя. который хочет кому то переслать данную информацию.

Даже если учесть что может быть скриптозашита, которая не выводит текст до исполнения какого либо js скрипта то это как минимум плохо для ПС. и так же не эффективно поскольку в данном случае парсят dom модель после эмуляции рендеринга.

Ответить
Развернуть ветку
Дмитрий Александрович

От парсинга конечно не защититься, т.к. если браузер получает какой-то контент, то значит и скопировать его можно. Но конкретно в случае с этим сайтом с конкурентов сталось бы и ручками воровать контент. Они не очень подкованные в техническом плане. Так что хоть какая-то защита.

Ответить
Развернуть ветку
Сергей Казмирчук

Никогда глубоко не вникал в SEO.
Было интересно ознакомиться с нюансами, благодарю :)

Ответить
Развернуть ветку
Max Gromadskiy

В конкурентных нишах нешуточные баталии разворачиваются... Ребята "зубастые"

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Морис Резниченко

Многое подчеркнул для себя, спасибо)!

Ответить
Развернуть ветку
Dima K.

в блокнотике?

Ответить
Развернуть ветку
Roman Ivanov

"Яндекс и Google обычно не раскрывают, какие именно факторы ранжирования добавлены в обновленную версию." -но рано или поздно настоящие СЕОшники понимают все алгоритмы в целом? Или это "черный ящик"?:)

Ответить
Развернуть ветку
Alex V

Это скорее похоже на казино только шансы выиграть больше. Особенно если мухлевать(крутить ПФ в Яндексе и PBN для гугла).

Ответить
Развернуть ветку
Дмитрий

Защита от копирования не поможет это от парсинга никак. Эмуляция браузера, один раз ввод капчи (если злохитрый вебмастер установил защиту от живых юзеров в виде клаудфлер например), далее забираем сгенерированный код страницы, профит. Всё это в автоматическом режиме конечно и познания особые даже не нужны чтобы реализовать.
Но вопрос всё-таки к поисковикам – каким образом неуник на сайтах “в основном помойках” роняет честный белый первоисточник.

Ответить
Развернуть ветку
Дмитрий

Сотрудник размещает прессрелизы у меня, там часто надо скопировать какую-то инфу с указанного сайта, которой нет в релизе, нарпимер адрес или копирайты какие-то. Ситуация с защитой от копирования встречается часто. Даже для этого сотрудника это не проблема, хотя он наверное вряд ли сейчас с первого раза повторит слово «парсинг». Кнопочка «Disable JavaScript» есть и F12 с клавиатуры пока не убрали…

Ответить
Развернуть ветку
Alex V

Гугл сайт может уронить если сворованный текст разместили на жирном дропе с мощными ссылками. В Яндексе с накрученным ПФ.

Ответить
Развернуть ветку
Иван Иванов

А никого не смутило, что проседание было 2 числа, а уже 3 всё вернулось и весь комплекс мероприятий был сделан за 1 сутки? В том числе переиндексация их поисковыми системами

Ответить
Развернуть ветку
CUYS.ru

Да как бы все эти скрипты - шляпа полная из аля 2012 года, когда это было в новинку - ребят уже 2022 год как ни как и на алгоритмы давят именно такими схемами https://socpublik.ru/ubrat-%E2%96%88%E2%96%AC%E2%96%88%E2%96%88%E2%96%80%E2%96%88%E2%96%80-sayt-konkurenta-iz-yandeksa.php

А не то что - поставил скрипт и всё ровно - совершенно нет. Игра уже идет без правил и без совести.

Ответить
Развернуть ветку
Читать все 39 комментариев
null