Кейс: как мы удалили карту сайта и улучшили посещаемость поисковым роботом Googlebot в два раза

DOM.RIA.com — это маркетплейс недвижимости. Ежедневно на сайт добавляются тысячи объявлений о продаже и аренде недвижимости. Структура сайта очень большая и сложная. Потому чтобы обеспечить свежесть контента в поиске, нужно максимально улучшать сканирование сайта поисковыми роботами.

Под термином «поисковый робот» (иногда его также называют просто роботом или «пауком») понимается любая программа, которая автоматически обнаруживает и сканирует сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот Google называется Googlebot.

В чем состоит задача?

Недвижимость зависит от географии расположения. Соответственно, все страницы имеют вертикаль (Например, город -> район -> микрорайон -> станция метро и так далее). Поэтому продвигаемые каталоги не всегда находятся за три клика от главной, что, в свою очередь, затрудняет поисковым роботам находить и сканировать такие каталоги.

Изучив семантику, решили расширить структуру такими каталогами:

● недвижимость по улицам городов;

● недвижимость по переулкам городов;

● недвижимость по номеру дома в городе.

Но без проблем не обошлось. Когда каталоги уже были созданы, страницы плохо индексировались, и бот очень редко посещал их.

Для облегчения доступа поисковым роботам к страницам сайта, когда-то была создана карта сайта с ссылкой в футере и выглядела как список линков.

Карта сайта Dom.ria

Вроде бы — проблема решена, все линки находятся за 2-3 клика от главной страницы, но нет. Так как DOM.RIA большой, соответственно и карта сайта немаленькая — вмещала в себе несколько десятков страниц пагинации. Но бот упорно не хотел ходить по страницам пагинации карты сайта.

Таким образом, за 15 дней бот посетил:

  • всего 525 000 страниц улиц;

  • всего 10 000 страниц метро;

  • всего 196 000 страниц районов.

Логи посещения ботом каталогов улиц

И только 16 страниц из карты сайта бот посетил за 15 дней.

Логи посещения карты сайта ботом

Такой результат нас не устраивал — это очень мало, учитывая географию Украины.

Переосмысление внутренней перелинковки

При помощи анализа логов сервисом JetOctopus, мы знали, что чаще всего поисковый бот посещает страницы городов, областей и тому подобное. Например, за тот же период времени гуглбот посетил 1 048 000 каталогов по продаже недвижимости.

Логи посещения ботом каталогов по продаже недвижимости

Исходя из данной информации, мы решили создать мини карты сайтов на каждом каталоге по городу, включив туда урлы по улицам, районам, метро и т.д., которые плохо сканируются.

Прописали им метатеги, а также добавили ссылки на страницы, которые гугл часто посещает.

Пример того, как перелинковали страницы

При этом карту сайта удалили как бесполезную.

Как изменилось посещение ботом?

Через 15 дней после изменений, за аналогичный период (15 дней) увидели следующие результаты:

  • всего 1 398 000 страниц улиц (+266%);

  • всего 23 000 страниц метро (+230%);

  • всего 450 000 страниц районов (+230%);

Логи посещения ботом страниц улиц после эксперимента

Дальнейшие планы

В качестве бонуса хабовые страницы начали ранжироваться по ряду ключевых слов и приносить клики.

Страница в выдаче google

Значит, пользователям такие страницы интересные. Поэтому в планах сделать не просто полотно ссылок, а полноценные лендинги, которые позволят удовлетворить запросы пользователей. Для этого в планах несколько задач:

  • собрать релевантную семантику, оптимизировать под нее метатеги-

  • запилить дизайн, навигацию и так далее;
  • дополнить страницы релевантным контентом;
  • продолжить работы с внутренней перелинковкой.
0
27 комментариев
Написать комментарий...
Julia Nesterets

Классный кейс! С большими сайтами все не так просто. Когда у тебя есть логи под рукой, у тебя будет совсем другая динамика в SEO. Кейс это четко демонстрирует!

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Спасибо)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Спасибо)

Ответить
Развернуть ветку
Michael

А пробовали настроить заголовок Last-Modified?

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Думали, но пока что для каталогов отложили внедрение. Внедрили только для объявлений. Но позже вернемся к этому, спасибо

Ответить
Развернуть ветку
Michael

Кстати, люто вы наспамили в микроразметке

Ответить
Развернуть ветку
Андрей Гребинчук

Это уже необходимость, чем новшество

Ответить
Развернуть ветку
Александр Веселов

Спасибо! Крутой кейс.

Ответить
Развернуть ветку
В А

Кейс для дураков! На сайте недвижимости увеличили глубину поиска, народ с радостью полез ковыряца глубже, трафик пошёл. Зачем гуглебота заставили глубже лезть в эту помойку - непонятно.

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Интересное мнение)))

Ответить
Развернуть ветку
Антон Фёдоров

Вроде бы где-то проскакивала информация, что гугл-бот на странице не воспринимает больше n-ого количества ссылок. Вроде речь о 1000 штук. И у вас карта сайта была не в xml, а в виде страницы отдельной. Может быть дело было в ограничениях на количество ссылок. А разбив на много мини-карт вы решили эту проблему? :)

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Скорее всего, вы имеете в виду Файлы Sitemap - там у нас все ок. А кейс именно о HTML-карте сайта.

Ответить
Развернуть ветку
Василий Петров

а почему он по сайтмепе не ходил, если все ок?

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Почему не ходил? ходил) Но хотели поскорее загнать каталоги в индекс.

Ответить
Развернуть ветку
YouTube Streamer Junky

Где бы взять разумный материал про микроразметку..

Ответить
Развернуть ветку
Where Filmed

Ответ очевиден https://schema.org/

Ответить
Развернуть ветку
YouTube Streamer Junky

Спасибо, капитан :)

Ответить
Развернуть ветку
Where Filmed

Так проблема не понятна. На официальном сайте все подробно описано, включая все схемы. Если вы не хотите разбираться, то воткните плагин - mathrankseo в wordpress умеет такое делать за вас по шаблону.

Ответить
Развернуть ветку
Андрей Гребинчук

Круто) перелинковка всегда отлично отрабатывала. Интересно улучшит ли это позиции страниц в "мини картах сайтов", держите в курсе 💪

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

+

Ответить
Развернуть ветку
Кристина Н

Спасибо за кейс. У меня тоже как-то увеличилось количество просканированных страниц, а при детальном анализе оказалось, что гуглбот нашёл то, что не должен был найти..

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Да, нужно следить, чтобы не слить краулинговый бюджет впустую)

Ответить
Развернуть ветку
Shtolz

Интересный кейс, спасибо!

Как изменились позиции страниц, на которых были размещены мини-карты?

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Позиции не сильно изменились, но появилась возможность "схлопнуть" простыни перелинковки на городах без потери посещаемости бота

Ответить
Развернуть ветку
Анастасия Новикова

как с вами можно связаться?

Ответить
Развернуть ветку
Andrey Honcharyk
Автор

Написал вам в личные)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
24 комментария
Раскрывать всегда