Индексировали, индексировали…и проиндексировали: как за 2 месяца «познакомить» Гугл и полмиллиона новых страниц
Мы исправили самые популярные ошибки, из-за которых сайт не видно в поиске, «подружили» с Гуглом сотни тысяч страниц, чуть не подрались с дизайнером. Рассказываю, как получилось ускорить индексацию многомилионного сайта в гугл и получить первый SEO трафик.
Привет, я Макс Петров — основатель агентства 2x2 Digital Agency. Настраиваем компаниям контекст и таргет, прокачиваем SEO, а ещё показываем, что маркетинг с нами — это просто.
Мы с командой работаем не только на российском рынке, но и выходим на зарубежные проекты, которые сейчас всё активнее запускают русскоговорящие фаундеры. Этим летом к нам пришли ребята из Bringo. Они делают огромный портал, где собрана подробная информация по компаниям, которые работают на территории Великобритании. Аналог нашего Rusprofile, где каждый может оценить надежность контрагента, узнать о возможных судебных делах, посмотреть состав учредителей и многое другое.
Bringo запускают проект с нуля и пришли к нам за комплексным SEO-аудитом их первой версии сайта. Поисковые системы ещё не успели оценить сайт, поэтому первым делом нужно сообщить о нашем агрегаторе Гуглу и проиндексировать страницы.
А зачем вообще Гуглу что-то индексировать?
Напомню, что если страницы нет в индексе, то есть в базе поисковика — её невозможно найти. Нет страницы — нет трафика. Нет трафика — нет лидов. Нет лидов — нет денег. Нет денег — такой себе вы бизнесмен.
У Google есть свои роботы по индексации, которые «гуляют» по сайту и решают стоит ли добавлять его в свою базу, продвигать его на верхние позиции и стоит ли показывать вообще.
Чтобы сеошники не словили флешбеки с обучающих курсов и книжек по маркетингу, предлагаю перескочить этот абзац. Для остальных, рассказываю на что в первую очередь смотрят роботы на сайте:
- Метаданные. Насколько правильно подобраны заголовки и описания страниц, верно ли указаны ключевики.
- Контент. Его актуальность, уникальность и даже подписи к картинкам.
- Внутренние и внешние ссылки. Есть ли перелинковки между страницами, все ли «хлебные крошки» работают правильно, насколько качественные ресурсы ссылаются на ваш сайт.
- Ответ сервера при открытии страницы. Робот не станет ждать даже самый классный и полезный контент, а просто уйдет с сайта и не будет его показывать, если скорость загрузки низкая.
Наша задача — провести базовую SEO-оптимизацию и подготовить страницы сайта к индексации в Google и перейти к комплексному продвижению сайта агрегатора Bringo.
6,5 миллионов страниц, Карл!...
Именно столько их было на сайте Bringo и это стало основной сложностью проекта. Чтобы просканировать их все на предмет ошибок, как мы это обычно делаем, потребуется немало времени и ресурсов. С таким объёмом сервера клиента могут в любой момент сказать «до свидания, приятно было поработать».
Плюс пока мы не придадим сайту вес, Гугл так и будет проходить мимо: на момент начала сотрудничества было проиндексировано всего 1380 страниц из, напомню, 6,5 миллионов. Капля в море.
Мы поняли, что сканировать все страницы необязательно. Они генерируются шаблонами, поэтому достаточно будет просканировать около 30%, чтобы найти типичные ошибки, которые станут фундаментом для дальнейшего продвижения крупного сайта. И вот некоторые из них:
- Дубли главной страницы. Встречается у 90% компаний и мешает поисковым системам нормально её ранжировать.
Чтобы избавиться от этого, добавили метатег canonical в <head> главной и получили: <link rel="canonical" href="https://bringo.co.uk>
- Ошибка 404. Робот переходит на страницу и видит эту ошибку, возвращается, двигается дальше и снова «404 error». После этого он психанёт и вообще прекратит индексировать сайт.
Вносим правки в файл robot.txt и запрещаем поисковику индексировать эти страницы.
Такие страницы очень не нравятся поисковым роботам
- Неправильный тег title. Этот элемент выделяет для поисковиков суть содержимого на странице. Вот пример для страницы поиска:
Неправильно: Bringo | search companies
Правильно: Companies search results | Bringo
В title важно, чтобы ключевое слово было на первом месте, а уже после можно указать и название компании. Так сайт будет ранжироваться гораздо лучше.
Поспорили с дизайнером и….запустили A\B тесты
Онлайн-дуэлей ещё не придумали, а потому драться нам всё-таки не пришлось, но споры в рабочем чате разгорались нешуточные. Вот в чём была история.
На этапе аудита мы увидели, что h2-заголовки на всех страницах были одинаковые — «Company overview». И не важно, какая конкретно это было компания. Почему это плохо:
Во-первых, это повторы, из-за которых сайт хуже ранжируется, а во-вторых, сам по себе заголовок неинформативен. Никто не вбивает такой запрос в Гугл. В-третьих, заголовку не хватает ключевых слов, а именно названия компании. Ключи — это сеошная база.
Мы предложили добавить названия компаний в заголовки, чтобы, к примеру, получилось «Y39 LIMITED Company Overview». Это не понравилось дизайнеру Bringo. Показалось, что такой длинный заголовок некрасиво смотрится на странице.
Чтобы разрешить наш спор, половину страниц мы оставили со старым заголовком, а половину — с новым. И запустили их все в индексацию.
Через 2 недели пришли с результатом. Выгрузили активные URL из отчета (1000 шт.), которые участвовали в выдаче и принесли переходы на сайт.
Получили в 2 раза больше страниц в базе поисковика и в 2 раза больше переходов на сайт.
В следующие 2 недели повторили эксперимент ещё раз, вновь доказали эффективность h2-заголовков с названием компаний (повлияло на индексацию в гугле и общий объем трафика на оптимизированных страницах) и согласовали итоговые изменения.
В общем, провели базовую оптимизацию, исправили ошибки, а дальше стали думать, как пополнить кредит доверия со стороны Гугла.
Классическое внешнее SEO тут не работает
Я имею в виду одну из основных моделей продвижения сайта на российском рынке — закупка ссылок на биржах. На западе этих бирж практически нет. Бирж ссылки принято собирать по другому — подбирать сайты, писать админам и платить за размещение. Учитывая количество страниц на проекте Bringo, это долго, дорого и сложно.
Решение — выстроить сетку дропов (сайтов, основная задача которых передавать ссылочную массу на продвигаемый сайт). На специализированных аукционах мы ищем сайты, которые выставлены на продажу. Оцениваем их, подбираем по тематике нашего проекта, выкупаем и восстанавливаем контент, указывая ссылки на Bringo.
Часть таблицы со сформированной сеткой дропов
Например, в условной статье «как узнать ИНН компании» вставляем ссылку на bringo.co.uk и говорим, что сделать это можно вот в этом сервисе.
С каждым месяцем мы увеличивали количество дропов, но не гнались за конкурентами. Их в обозримом будущем не догнать. Лучше сделать упор на релевантность и качество доменов.
Внешняя ссылочная масса растет, Гугл видит, что на наш портал ссылаются другие авторитетные источники (брали ресурсы старше двух лет), поднимает сайт в поиске и сам заходит на него для индексации страниц.
Растет и, так называемый domain rating. Эта метрика помогает понять, насколько релевантной и авторитетной стала страница с течением времени:
DR до работы с дроп-доменами (22.09) – 0
DR после работы с дроп-доменами (на 15.11) – 28
Контент-маркетинг
Контент — важная часть SEO-продвижения. Чтобы повысить видимость сайта, он должен быть уникальным и отвечать запросам пользователей.
Для поисковика сайт Bringo выглядит несколько скучным и однотипным. 99.9% страниц на сайте — это карточки компаний с низким поисковым спросом. Пользователи не идут дальше.
Чтобы это исправить, мы посоветовали Bringo внедрить страницы «О компании», «Контакты», «Блог».
Для «Блога» мы стали писать по 5 статей в месяц. Темы выбирали «бизнесовые», смотрели на семантику. К примеру, дали полное руководство как правильно и быстро ликвидировать компанию, а ещё рассказали как сменить ИП на ООО.
Важно, чтобы пользователи приходили на сайт и оставались там как можно дольше. Для этого сделали перелинковку с другими полезными материалами и страницами Bringo.
А результаты…будут позже. SEO и контент-маркетинг — это каналы с долгой раскачкой, статьи могут не получать трафик месяцами, а затем взлететь в топ выдачи. Тем более, Bringo только начинает верстать блог и размещать публикации.
Написали скрипт и ускорили работу в 100 раз
«Окей, ошибки исправили, контент подготовили, а что с индексацией…?»
Мы сразу поняли, что индексация такого огромного сайта займёт долгие месяцы. Сайты с миллионом похожих страниц, как у Bringo, отправляют на принудительную ручную индексацию через Google Search Console. Вот только у этого сервиса есть ограничение — максимум 200 страниц в день. Теперь представьте, сколько потребуется времени, чтобы проиндексировать весь объём. Ладно не считайте, мы сами это сделали…89 лет!!! Не самое лучшее наследство для наших внуков.
Некоторые забывают, но для подобных сайтов-миллионников есть обход этого ограничения. К основному аккаунту можно привязать до 100 дополнительных сервисных и, в идеале, отправлять на индексацию до 20 000 страниц в день. Это в 100 раз ускорит индексацию в Google.
Чтобы это сделать мы написали специальный скрипт на Python и настроили Google Cloud Service, где активировали API. Подробно расписывать не буду, для этого нужна отдельная инструкция.
Дополнительные аккаунты привязывали постепенно, чтобы не вызвать подозрений у Гугла и с каждым днём отправляли всё больше страниц на индексацию.
Работу по принудительной индексации мы начали в начале сентября и за 2 месяца Гугл успешно проиндексировал больше 450 000 страниц.
Промежуточные итоги
Мы продолжаем работу с Bringo и каждый день «знакомим» с Гуглом всё больше страниц. Вот, что мы уже сделали:
- Исправили ошибки. Нашли их ещё на этапе аудита и подготовили страницы к индексации;
- Увеличили ценность сайта в глазах поисковика. Подготовили уникальные статьи для раздела «Блог», настроили внутреннюю перелинковку, увеличили объём внешней ссылочной массы;
- Ускорили индексацию. Обошли ограничение Google и проиндексировали почти полмиллиона страниц за 2 месяца.
- Получили первый трафик. И показали положительную динамику по показам, переходам и позициям в выдаче.
1-30 сентября
1-19 ноября
Если у вас похожая задача или вы просто хотите немного SEO напишите мне в личку ТГ @mp2x2
Или заглядывайте ко мне на канал, там рассказываю про маркетинг и управление диджитал агентством.
У меня вопрос про копипейст на вашем сайте. Это так и должно быть?
На странице: https://2x2-agency.ru/contextual-advertisment/
Спасибо, что подметил. Мы только выкатываем обновленную версию сайта и там где-то еще стоят заглушки и не хватает многих страниц)
А что там по статистике сканирования сайта? Сколько посещений ботами в день? После доработок число ботных визитов на сайт возросло?
Гугл не определяет своих роботов в аналитике и консоли, потому на статистике это не сказывается
Очень круто написано, в формате сторителлинга, то, что нужно👌😊 приятно и интересно читать 🔥
Комментарий недоступен
Такие случаи нередки, здесь только просвещение и аргументация спасают. Иногда не спасают и они. Если заказчик не хочет воспринимать информацию и не доверяет нашему профессиональному мнению — мы предпочитаем вернуть деньги, чтобы не брать грех на душу, не делать гоvна и не трепать нервы ни себе, ни заказчику.