Serge Bezborodov

+167
с 2015
13 подписчиков
26 подписок

все зависит от размеров сайта, если больше +-100к страниц то внедрять смысл есть. Для нового сайта - мне сложно сказать, не было такого опыта, но чисто на уровне мнения - не стоит. Обычно новые сайты это тонны багов и пусть лучше разработка сделает хорошо основной функционал без косяков, а потом можно заниматься оптимизацией

1

абсолютно правы! все seo можно свести - делай контент и ссылки - будет профит.

1

Алексей, спасибо, ждем продолжения. Очень для нас сейчас актуально, т.к. тоже идем в США и Европу со своим tech SEO tool. А вы инструментами для on-page SEO пользуетесь? Если да, то интересно какими?

Googlebot нормально ее воспринимает, вся суть в том, что когда он к вам приходит с заголовком if-modified-since и если у вас контент не поменялся с этой даты, вы отдаете ему 304 код без контента.

Как итог - у вас увеличивается количество посещенных страниц с кодом 200. Но есть детали реализации, не стоит например на весь сайт лупануть одну и туже last-modified дату, ее нужно "размазывать" во времени. Точно также не стоит совмещать внедрение 304 кода вместе с обновлением перелинковки, когда вам наоборот нужно, чтобы бот переобошел как можно больше страниц.

В алгоритмах бота очень много эвристик, и если он видел что-то похожее на баг, он может начать это игнорировать.

Как например если вы отдаете 5xx код для robots.txt в течение месяца и более, он начинает игнорировать его.

1

lastmod хороший рабочий метод, но решает проблему лишь частично

спасибо за отзыв Илья!

интеграция с яндексом - это не вопрос приоритетов, а увы у них тупо нет API для этого. Там можно получить данные только по топ 500 страниц и все, а парсить интерфейс и вытягивать данные - так себе занятие.

2

Согласен, грустно. В том-то и дело, что не сами..

Igor Sochenko,  спасибо за вопрос. 

Из логов достаете страницы, которые посещаются поисковым ботом. Накладываете краулинговые данные и данные из GSC на этот список и получаете все техн.параметры каждого урла. И фильтруете: по скорости загрузки, по количеству внутренних ссылок и проч. Из чего видно, что один кластер страниц находится на 5м уровне вложенности, а на вашем сайте Crawl ratio оптимальное на 2-3 DFI, то эти страницы можно разместить ближе. Какие-то страницы можно наполнить дополнительным уникальным контентом и так далее.