Кейс: как мы удалили карту сайта и улучшили посещаемость поисковым роботом Googlebot в два раза
DOM.RIA.com — это маркетплейс недвижимости. Ежедневно на сайт добавляются тысячи объявлений о продаже и аренде недвижимости. Структура сайта очень большая и сложная. Потому чтобы обеспечить свежесть контента в поиске, нужно максимально улучшать сканирование сайта поисковыми роботами.
В чем состоит задача?
Недвижимость зависит от географии расположения. Соответственно, все страницы имеют вертикаль (Например, город -> район -> микрорайон -> станция метро и так далее). Поэтому продвигаемые каталоги не всегда находятся за три клика от главной, что, в свою очередь, затрудняет поисковым роботам находить и сканировать такие каталоги.
Изучив семантику, решили расширить структуру такими каталогами:
● недвижимость по улицам городов;
● недвижимость по переулкам городов;
● недвижимость по номеру дома в городе.
Но без проблем не обошлось. Когда каталоги уже были созданы, страницы плохо индексировались, и бот очень редко посещал их.
Для облегчения доступа поисковым роботам к страницам сайта, когда-то была создана карта сайта с ссылкой в футере и выглядела как список линков.
Вроде бы — проблема решена, все линки находятся за 2-3 клика от главной страницы, но нет. Так как DOM.RIA большой, соответственно и карта сайта немаленькая — вмещала в себе несколько десятков страниц пагинации. Но бот упорно не хотел ходить по страницам пагинации карты сайта.
Таким образом, за 15 дней бот посетил:
всего 525 000 страниц улиц;
всего 10 000 страниц метро;
- всего 196 000 страниц районов.
И только 16 страниц из карты сайта бот посетил за 15 дней.
Такой результат нас не устраивал — это очень мало, учитывая географию Украины.
Переосмысление внутренней перелинковки
При помощи анализа логов сервисом JetOctopus, мы знали, что чаще всего поисковый бот посещает страницы городов, областей и тому подобное. Например, за тот же период времени гуглбот посетил 1 048 000 каталогов по продаже недвижимости.
Исходя из данной информации, мы решили создать мини карты сайтов на каждом каталоге по городу, включив туда урлы по улицам, районам, метро и т.д., которые плохо сканируются.
Прописали им метатеги, а также добавили ссылки на страницы, которые гугл часто посещает.
При этом карту сайта удалили как бесполезную.
Как изменилось посещение ботом?
Через 15 дней после изменений, за аналогичный период (15 дней) увидели следующие результаты:
всего 1 398 000 страниц улиц (+266%);
всего 23 000 страниц метро (+230%);
- всего 450 000 страниц районов (+230%);
Дальнейшие планы
В качестве бонуса хабовые страницы начали ранжироваться по ряду ключевых слов и приносить клики.
Значит, пользователям такие страницы интересные. Поэтому в планах сделать не просто полотно ссылок, а полноценные лендинги, которые позволят удовлетворить запросы пользователей. Для этого в планах несколько задач:
собрать релевантную семантику, оптимизировать под нее метатеги-
- запилить дизайн, навигацию и так далее;
- дополнить страницы релевантным контентом;
- продолжить работы с внутренней перелинковкой.
Классный кейс! С большими сайтами все не так просто. Когда у тебя есть логи под рукой, у тебя будет совсем другая динамика в SEO. Кейс это четко демонстрирует!
Спасибо)
Комментарий недоступен
Спасибо)
А пробовали настроить заголовок Last-Modified?
Думали, но пока что для каталогов отложили внедрение. Внедрили только для объявлений. Но позже вернемся к этому, спасибо
Кстати, люто вы наспамили в микроразметке
Это уже необходимость, чем новшество
Спасибо! Крутой кейс.
Кейс для дураков! На сайте недвижимости увеличили глубину поиска, народ с радостью полез ковыряца глубже, трафик пошёл. Зачем гуглебота заставили глубже лезть в эту помойку - непонятно.
Интересное мнение)))
Вроде бы где-то проскакивала информация, что гугл-бот на странице не воспринимает больше n-ого количества ссылок. Вроде речь о 1000 штук. И у вас карта сайта была не в xml, а в виде страницы отдельной. Может быть дело было в ограничениях на количество ссылок. А разбив на много мини-карт вы решили эту проблему? :)
Скорее всего, вы имеете в виду Файлы Sitemap - там у нас все ок. А кейс именно о HTML-карте сайта.
а почему он по сайтмепе не ходил, если все ок?
Почему не ходил? ходил) Но хотели поскорее загнать каталоги в индекс.
Где бы взять разумный материал про микроразметку..
Ответ очевиден https://schema.org/
Спасибо, капитан :)
Так проблема не понятна. На официальном сайте все подробно описано, включая все схемы. Если вы не хотите разбираться, то воткните плагин - mathrankseo в wordpress умеет такое делать за вас по шаблону.
Круто) перелинковка всегда отлично отрабатывала. Интересно улучшит ли это позиции страниц в "мини картах сайтов", держите в курсе 💪
+
Спасибо за кейс. У меня тоже как-то увеличилось количество просканированных страниц, а при детальном анализе оказалось, что гуглбот нашёл то, что не должен был найти..
Да, нужно следить, чтобы не слить краулинговый бюджет впустую)
Интересный кейс, спасибо!
Как изменились позиции страниц, на которых были размещены мини-карты?
Позиции не сильно изменились, но появилась возможность "схлопнуть" простыни перелинковки на городах без потери посещаемости бота
как с вами можно связаться?
Написал вам в личные)
Комментарий удален модератором