Serge Bezborodov
абсолютно правы! все seo можно свести - делай контент и ссылки - будет профит.
Алексей, спасибо, ждем продолжения. Очень для нас сейчас актуально, т.к. тоже идем в США и Европу со своим tech SEO tool. А вы инструментами для on-page SEO пользуетесь? Если да, то интересно какими?
Googlebot нормально ее воспринимает, вся суть в том, что когда он к вам приходит с заголовком if-modified-since и если у вас контент не поменялся с этой даты, вы отдаете ему 304 код без контента.
Как итог - у вас увеличивается количество посещенных страниц с кодом 200. Но есть детали реализации, не стоит например на весь сайт лупануть одну и туже last-modified дату, ее нужно "размазывать" во времени. Точно также не стоит совмещать внедрение 304 кода вместе с обновлением перелинковки, когда вам наоборот нужно, чтобы бот переобошел как можно больше страниц.
В алгоритмах бота очень много эвристик, и если он видел что-то похожее на баг, он может начать это игнорировать.
Как например если вы отдаете 5xx код для robots.txt в течение месяца и более, он начинает игнорировать его.
lastmod хороший рабочий метод, но решает проблему лишь частично
спасибо за отзыв Илья!
интеграция с яндексом - это не вопрос приоритетов, а увы у них тупо нет API для этого. Там можно получить данные только по топ 500 страниц и все, а парсить интерфейс и вытягивать данные - так себе занятие.
Не понял в чем? Уточните, Николай.
Согласен, грустно. В том-то и дело, что не сами..
Спасибо, Mia.
Igor Sochenko, спасибо за вопрос.
Из логов достаете страницы, которые посещаются поисковым ботом. Накладываете краулинговые данные и данные из GSC на этот список и получаете все техн.параметры каждого урла. И фильтруете: по скорости загрузки, по количеству внутренних ссылок и проч. Из чего видно, что один кластер страниц находится на 5м уровне вложенности, а на вашем сайте Crawl ratio оптимальное на 2-3 DFI, то эти страницы можно разместить ближе. Какие-то страницы можно наполнить дополнительным уникальным контентом и так далее.
Алексей, спасибо за комментарий. Согласен с вами, что можно загнать и 5 и более млн. страниц в индекс. Суть моего выражения была в том, что ВСЕ страницы сайта на 1 млн.+страниц загнать невозможно. Поэтому нужно приоритизировать работу с сайтом.
Здравствуйте, Роман
1. в данном случае пики на понедельник - это данные по конкретному работному сайту, точно также как у екомерса пики перед праздниками
2. тренды также есть и внутри каждого сайта, если вы видите общее падения импрешенов, позиций уже второй месяц по сегменту сайта - то это явно негативный тренд внутри вашего сайта
3. и да и нет, джобсайты в принципе рассылают вакансии по подпискам не обязательно к понедельнику, а чаще всего каждый день, когда есть новые вакансии. И если смотреть аналитикс, то в понедельник будет ровно такой же процент новый посетителей как и в любой другой день.
4. возможно
5. у каждого свое понятие длинного хвоста )
6. мы говорим про канибализацию в контексте больших сайтов, от 100 тыс страниц. Этим инструментом нужно правильно пользоваться и он сможет показать ситуации когда у вас ранжируются страницы вида "работа главным бухгалтером", "работа бухгалтером главным"
7. в статье весьма упрощенно сказано про перелинковку. Я целиком и полностью согласен, что важна тематичность, чтобы ссылки были в видимой области, а не серым текстом в футере. И по ВЧ запросам вы внутренними ссылками в ТОП 1 никогда не станите. Но грамотное использование перелинковки - это отличный инструмент, когда у вас семантика из сотен тысяч НЧ запросов, которые можно пододвинуть ближе к ТОПу. 20 августа буду читать вебинар на эту тему https://webinars.collaborator.pro/webinar/perelinkovka-webinar буду рад подискутировать там с вами)
спасибо за такой объемный комментарий
1. вся суть в количестве данных, в логах за несколько месяцев обычно видны тенденции, как сайт краулится, сколько новых страниц залетает и т.д.
Анализ больших данных всегда стоит начинать с общих показателей, тенденций потом уже углубляясь на уровни ниже вплоть до конкретной страницы.
2. GSC обычно отдает данные с задержкой в три дня
да, мне попадалось в твиттере ктото выкладывал такую интеграцию, там по идее не так сложно.
Оно дает общее представление, но когда вы захотите углубиться - видите какую-то аномалию, хотите кликнуть и посмотреть что там за урлы, запросы - уже не получится и придется руками лезть в базу
ответил вам чуть ниже
здравствуйте!
1. из краула сайта мы понимаем сколько всего на нем страниц - M, из логов, например за месяц, мы видим сколько уникальных страниц посетил бот X.
Из M вычитаем X = получаем страницы где не было бота
теперь касаемо самой темы статьи, tl/dr: в ней описывается по данные из инструмента google search console, в которой вы можете видеть инфу по своему сайту (верифицированному)
2. "receivieng impressions" - сколько раз страница показалась в выдаче гугла по запросу, "receiving clicks" - сколько раз по ней кликнули (т.е. совершили переходов их serp)
3. клики из serp
4. канибализация - это когда по одному запросу ранжируется несколько ваших страниц и они конкурируют между собой, это касается в первую очередь не гео запросов.
5. это распределение кликов по вашему сайту из выдачи гугла, т.е. переходов.
Спасибо, Сергей. Надеемся и инструмент вам понравится не меньше чем статья.
Спасибо, Andrii. Теперь проверьте на деле, пользуйтесь бесплатным тестом.
Nastya, спасибо за комментарий. Да, даже в beta мы вылили возможность выбирать период, за который вы смотрите динамику по выбранным показателям. 7 дней, месяц, 6 месяцев, год. Группировать данные можно также по-разному: подневно, понедельно, помесячно. В итоге вы видите сравнение периодов в одном графике и отслеживаете показатели в динамике. Вот период 3 месяца с понедельной группировкой.
тут важно не сколько ссылок находится на странице, а важно сколько ссылок с других страниц ссылаются на эту страницу - тут среднее по больнице - минимум 10
бесплатных не знаю, платные есть достаточно много - как sitebulb, netpeak spider и ну и скримин фрог
А многим вебмастерам важно знать, кто из миллиона ботов на сайте является гуглом, кто человеком, а кто мусором. это не проблема, всегда есть ip адрес по которому можно сказать 100% гугл это или яндекс или бинг.
Поэтому, что вы смогли наанализировать из этой кучи мусора совсем не понятно. Вы придумали сферического коня в вакууме, где есть один гугл и один сайт.в статье под которой этот комментарий, я подробно описал что мы "наанализировать из этой кучи мусора"
т.е. поисковики тратят миллиардные бюджеты, двадцать лет разрабюатывают технологии, машин лернинги, ренк брейны и тут мы просто берем два сайта и "перемножаем" что-то на что-то и profit!
у Вас наверное много сайтов и куча трафика есть
смотрите в логи регулярно, особенно после выливки апдейтов на сайт, чтобы вы могли сразу видеть ошибки, не дожидаясь "писем счастья" от гугла
яндекс у нас есть в данных, но не так много как гугла. В целом на него оказывают влияение все вышеперечисленные факторы, но не так сильно.
Например, он гораздо лояльнее относится к страницам которые есть только у вас в сайтмапе и их нет в перелинковке, гугл же по таким "не любит" ходить
тут как из математики "необходимо, но недостаточно": самая главная цель - отвечать на запросы пользователей - полезный контент, юзабилити и так далее
спасибо!
все зависит от объемов, для небольших сайтов SF вполне подходит
но есть еще момент с подобными тузловинами - они показывают где и как бот ходит, но не вы не видите где бот НЕ ходит, мы это и делаем с куче расширенной аналитики и инсайтов.
500 слов всего на странице, вместе со сквозным шаблоном (хедер футер и т.п.), там очень усредненные цифры, они больше подходят для контентных сайтов, чем для каталожных
в каталожных, например интернет магазины, авто сайты - нужно смотреть % полезного текста от шаблона, он более говорящий
для небольших сайтов возьмите любой десктоп краулер, мне нравится sitebulb или нетпик - там скраулите и увидите картину по перелинковке
все зависит от размеров сайта, если больше +-100к страниц то внедрять смысл есть. Для нового сайта - мне сложно сказать, не было такого опыта, но чисто на уровне мнения - не стоит. Обычно новые сайты это тонны багов и пусть лучше разработка сделает хорошо основной функционал без косяков, а потом можно заниматься оптимизацией