SEO
Антон Куниченко

Как важно следить за сайтом, даже если он еще закрыт от индексации

Внеплановый пост боли, крика и негодования 😱.

Каждый понедельник я провожу срез по сайтам. В этот срез входит:

  • Индексация сайта
  • Позиции сайта по ключевым запросам
  • Проверка Гугл консоль
  • Проверка Гугл аналитика

Как проверить индексацию сайта?

Индексация сайта в данном срезе — это проверка количества страниц в индексе Гугла. Делается это элементарно.

Вводим в поисковую строку следующе:

site:домен-вашего-сайта.ua

и видим количество страниц в индексе (фото 1).

Фото 1. Индексация страниц сайта в Google

Отслеживание индексации и статистика

Чтобы видеть динамику я свожу эти данные в таблицу. Там все просто: дата📅 и количество страниц📚. Из этих данных строится красивый график📈 (фото 2).

Фото 2. Количество страниц на сайта

Эти данные, на самом деле, не точны. Но чтобы быстро и поверхностно проанализировать состояние сайта — подходит.

А теперь суть проблемы

Так вот, есть у меня один сайт. Он еще в разработке и закрыт от индексации. Но я все равно делаю срез по количеству страниц в индексе, так на всякий случай. И вот такой случай настал😁.

Сегодня проверяю этот проект и вижу ужасную картину — 692 страницы в индексе😨. Эти страницы полный шлак и отдают 404 ошибку. А на закуску:

❌ В файле robots.txt нет запрета на индексацию. Хотя я точно ее ставил.

❌ Я не могу зайти в админку сайта (фото 3).

Фото 3. Нет доступа в админку сайта

❌ В Гугл консоли также наблюдается рост количества страниц (фото 4)

Фото 4. Рост количества страниц в Google Console

Короче беда! Похоже на какой-то вирус и/или взлом. Программиста и хозяина сайта в известность поставил. Ждем развития.

Выводы

Если Вы хотите быть уверены, что с вашим сайтом все в порядке, его не взломали и не заразили вирусом — дружите со своими сеошниками и программистами.

P.S. Прошу строго не закидывать тапками. Это моя первая статья.

0
69 комментариев
Написать комментарий...
Dmitry Simankov

Смотрю я на эту страничку и понимаю, что vc.ru уже не тот, что был раньше...

Ответить
Развернуть ветку
Виктор Петров

Ну во-первых - забудьте вы уже о robots.txt, это просто список ваших пожеланий к роботу. Он их проигнорирует, если посчитает, что это надо. Если сайт в разработке - блокайте лучше через мета роботс, а ещё лучше - тупо пароль на директорию, физически.
Во-вторых, напомню про возможную разницу в версиях ip. Описаны случаи, когда один сайт был доступен в разных версиях по разным ip (ipv4 и ipv6) - владелец работал с одной версией сайта, роботы получали другую, на тестовом серваке как раз. Проверьте, может и тут такая история.
Хотя взлом исключать никогда нельзя, как и появления левого зеркала - это старая техника отжима позиций, хотя и затратная, да и не о новом сайте, которого пока даже не должно быть в индексе.

Ответить
Развернуть ветку
Антон Куниченко
Автор

Дельное замечание. Спасибо!

Ответить
Развернуть ветку
Александ Есть

Фигня, не видел еще ниодного случая, чтобы поисковик проигнорировал файл robots. А вот случаев когда криво настроили и поэтому поисковик не понял что от него хотят - полно.

Ответить
Развернуть ветку
4 комментария
Константин Колясников

Гугл индексирует запрещённые страницу в robots в случае если страница помещаемая. Такие страницы нужно закрывать через meta теги.

При разработке сайта нужно накидывать авторизацию на тесовой площадке.

По-моему, это уже давно всем известно.

Ответить
Развернуть ветку
1 комментарий
Дмитрий Шепелёв

У меня был случай взлома сайта на WP из гугл консоли прилетело сообщение что на вашем сайте появился рост страниц, так и было, кто то разместил на сайте вредоносный код, который я удалил, причина была в одном плагине, как я позже узнал что разработчики допустили уязвимость в коде и примерно 100000 сайтов пострадали, данная проблема лечится сменой IP адреса, чтобы вернуть доверие гугла. После этого я попрощался с WP.

Ответить
Развернуть ветку
Виктор Петров

Сильный ход - целый IP менять из-за взлома.
После исправления ошибок и устранения брешей все ручные санкции снимаются примерно сразу. Хуже того: Гугл успешно вносит в индекс даже странички, тоннами сгенерированные дорами на взломанных сайтах, даже не думая понижать сайт в ранжировании несмотря на откровенно левый и нетематический контент.
Любая CMS уязвима, просто zero-day уязвимости на WP становятся известными практически сразу всем, кому надо, а дальше - дело ботов, найти уязвимый сайт и залить, скажем, шелл или иначе напакостить. Юзайте файерволл, хотя бы - проблем будет намного меньше. 

Ответить
Развернуть ветку
3 комментария
Ольга Маньшина

"попрощался с WP" - а с чем работаете?
Любая CMS потенциально уязвима. 

Ответить
Развернуть ветку
2 комментария
Антон Куниченко
Автор

ВП конечно не идеален. Но большинство сайтов в интернете создано на нем.

Ответить
Развернуть ветку
Александ Есть

Ну и глупо. Есть туева хуча плагинов, которые защищают wp от взлома и в вашем случае это бы помогло. Судя по описанию речь о плагине ThemeGrill Demo Importer. Защита простая - менять логин администратора и не использовать тот что по-умолчанию, это базовая инструкция по защите. Сама CMS в данном случае не при чем, криворукие разработчики плагина допустили уязвимость в нескольких версиях подряд.

Ответить
Развернуть ветку
Александ Есть

"Если Вы хотите быть уверены, что с вашим сайтом все в порядке, его не взломали и не заразили вирусом — дружите со своими сеошниками и программистами."

По более чем 20 летнему опыту программистам пофиг на то, что с сайтом происходит и как он отображается в поиске, код работает - ок, не работает присылайте тз - исправим.

Сколько было организаций всеми этими вещами я занимался как интернет-маркетолог. Сначала найти ошибку, а потом убедить что это ошибка и это нужно исправить

Ответить
Развернуть ветку
Антон Куниченко
Автор

Вот для этого у нужны сеошники. Которые вовремя заметят ошибку и сделают ТЗ на исправление. Ну или сами исправят сходу если они и чтец и швец и на дуде игрец 😂. Но лично я против такого подхода. Каждый должен заниматься своим делом.

Ответить
Развернуть ветку
Михаил Тремасов

но понимание у них должно быть, что они делают вообще. как раз чтобы лишний раз не обсуждать почему и зачем  

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Антон Куниченко
Автор

Спасибо.

Ответить
Развернуть ветку
Икс Маска

Да, вы очень серьезный профи :) Не попал в админку WP – «беда! Похоже на какой-то вирус и/или взлом. Программиста и хозяина сайта в известность поставил. Ждем развития.» и денег за решение проблемы :))))))) А, включить режим отладки в WP не пробовали? 

Ответить
Развернуть ветку
Антон Куниченко
Автор

Еще раз.... Проект на паузе. Я его сейчас не веду. Проверять такие вещи в принципе не должен был.

Ответить
Развернуть ветку
35 комментариев
Михаил Тремасов

на MODX такое же было https://liderpoiska.ru/blog/virusy-na-modx/ 

Ответить
Развернуть ветку
SEO-Шмео

Это все из-за экономии. Зачем вообще делать сайт на WP и других бесплатных движках. Я не удивлюсь, что вы его еще и скачали не на сайте WP. 
Все эти бесплатные движки дырявые. 

Ответить
Развернуть ветку
Ольга Маньшина

Опа, неожиданный выпад против Вордпресса.

Ответить
Развернуть ветку
3 комментария
Виктор Петров

Не каждый нулленый плагин или тема - с закладками.
Можно вообще не трогать нулленый стафф: темы стоят от 30 до 80 баксов, плагины - до 200. Это не те деньги, если речь идёт о серьёзном проекте.

Ответить
Развернуть ветку
YouTube Streamer Junky

Плагины надо пользовать с головой. Не писать лишнее или мало известное:)

Ответить
Развернуть ветку
Читать все 69 комментариев
null