ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов

История о том, как мы начали искать заброшенные домены для клиента с относительно низким бюджетом. Нашли, купили, подклеили и вошли в ТОП-10 по ключевым запросам.

Рисунок 0. Кейс по PBN с низким бюджетом. <br />
Рисунок 0. Кейс по PBN с низким бюджетом.

В рамках подготовки курса по PBN (стартует 9 марта) мы разработали алгоритм полуавтоматического поиска заброшенных доменов вне аукциона. Мы запустили эксперимент на личных сайтах компании и подумали, почему бы также не порадовать одного из тех наших клиентов, с которыми мы работаем более 10 лет?

Клиента нашли и предупредили, что это эксперимент. Поэтому он выдал нам совсем свежий сайт, который был заполнен контентом всего 2 месяца назад. Далее от клиента требовалось лишь выделять бюджет на проверку найденных дропов и их покупку. Всю автоматизацию по поиску мы взяли на себя.

Хронология событий

  • В начале 2022 года мы запускаем эксперимент с PBN.
  • Обучаем команду работе с аукционами, проверке дропов, индексации, ссылочным стратегиям.
  • Обучаем контент-менеджеров работе с AI-статьями, изображениями.
  • Доказываем эффективность PBN одному из клиентов (об этом наш предыдущий кейс). Параллельно внедряем PBN для всех клиентов в компании. Кто-то соглашается, кто-то нет.
  • Понимаем, что аукционы –- это небыстро, а в некоторых случаях и дорого. Не все клиенты способны себе позволить работу с PBN.
  • С помощью Python и A-Parser разрабатываем полуавтоматический способ парсинга заброшенных доменов, которые не участвуют в аукционах.
  • Проверяем и покупаем домены. Подклеиваем напрямую к главной странице.
  • Постепенно выходим в ТОП-10 Google за 35 дней.

Как было раньше? Без автоматизации

  • Собираешь список сайтов для парсинга заброшенных доменов.
  • Закидываешь их в лягушку (Screaming FROG).
  • Дожидаешься результатов парсинга.
  • Начинаешь ручную обработку: проверка WHOIS доменов, проверка вебархива, Яндекс ИКС, блокировки РКН, Ахрефс.
  • Покупаешь домен.
  • Подклеиваешь или работаешь как с отдельным PBN сайтом.

Из очевидных минусов такого подхода:

  • Отсутствие автоматизации. Все этапы приходилось обрабатывать вручную.
  • Множество таблиц. Безумное количество времени уходило на их сведение.
  • Мощности компьютера. Лягушка или любой другой подобный краулер для парсинга требуют больших ресурсов ПК. Парсить большие сайты было невозможно.

Именно так мы работали с дропами и PBN с 2013 по 2022 год. Что же изменилось? В 2021 году мы начали активную работу с парсером A-Parser, ряд членов команды, в том числе и я, детально подошли к изучению Python, SQL. Благодаря этому у нас появилась возможность автоматизировать множество процессов в SEO, и в первую очередь в работе с PBN.

Схема разработанного алгоритма

Важно понимать, что алгоритм, описанный в данной статье, принципиально отличается от парсинга освобождающихся доменов, которые представлены в нашей панели аукционных дропов.

Одно из основных отличий — принцип поиска доменов. Если в панель попадают аукционные домены, которые освободятся в ближайшее время, то в текущем кейсе мы описываем алгоритм поиска и последующую работу с заброшенными сайтами, которых сейчас нет в базе аукционов доменов, потому что эти сайты освобождались довольно давно.

Автоматизировать процесс я начал 23 октября 2022 года. И уже тогда отправил первый коммит в гит. Для примера скриншот ниже из лога GIT-сервера.

Рисунок 1. Скриншот из лога git в PyCharm.
Рисунок 1. Скриншот из лога git в PyCharm.

Далее рассмотрим алгоритм парсинга заброшенных сайтов. Без кода. Главное — понять принцип.

В данный момент наша база по русскоязычному рынку SEO состоит из 811 000 дропов и более 3 600 000 рабочих доменов. Для примера даем визуализацию ниже.

Рисунок 2. Распределение доменов по статусу регистрации. Скриншот из Apache Superset.
Рисунок 2. Распределение доменов по статусу регистрации. Скриншот из Apache Superset.

За день в базу данных залетает примерно по 20 000 новых доменов. Конечно, большая часть доменов была найдена и добавлена в базу за первый месяц парсинга. Будем считать, что разработали и тестируем Ahrefs на минималках.

Рисунок 3. Количественная визуализация результатов парсинга/поиска заброшенных доменов. Скриншот из Apache Superset.
Рисунок 3. Количественная визуализация результатов парсинга/поиска заброшенных доменов. Скриншот из Apache Superset.

Вариант №1. Парсинг сайтов

Рисунок 4. Схема парсинга внешних ссылок с указанного сайта и поиск заброшенных доменов.
Рисунок 4. Схема парсинга внешних ссылок с указанного сайта и поиск заброшенных доменов.

Схема довольно простая, а автоматизация сложная. Но это однозначно стоило того результата, о котором мы поговорим в конце кейса.

  • Мы указываем в Python список сайтов для вечного парсинга.
  • Python обращается к файлу и передает запросы в А-Парсер по API.
  • A-Parser собирает все внешние ссылки с указанного домена.
  • Python сохраняет внешние ссылки и далее автоматически сводит данные в MySQL: проверяет доступность покупки, Яндекс ИКС, Ahrefs, блокировки в РКН.
  • Когда закончили парсить сайт, берем следующие сайты из базы данных, которые нашли на этапе парсинга текущего сайта.

Для примера я отправил на парсинг внешних ссылок всего один сайт — сайт правительства Санкт-Петербурга. Он парсился на внешние ссылки/домены около 2-3 дней. За это время с него было собрано ~ 60 000 доменов. На рисунке 5 представлен скриншот из базы данных MySQL.

Рисунок 5. Скриншот из Workbench. Количество найденных доменов (внешних).
Рисунок 5. Скриншот из Workbench. Количество найденных доменов (внешних).

Как вы думаете, какое количество найденных доменов было доступно к регистрации и выкуплено после проверки? Напишите свои варианты в комментариях к кейсу.

Вариант №2. Парсинг выдачи по ключам

Принципиальное отличие от предыдущего варианта в том, что здесь мы уже парсим выдачу Яндекс или Google по ключевым словам. Далее проверяем найденные домены в выдаче на возможность регистрации и дополнительно парсим найденные ссылки на внешние исходящие ссылки. Схематически это выглядит так, как представлено на рисунке 6.

Рисунок 6. Поиск заброшенных доменов из выдачи Яндекс и Google.
Рисунок 6. Поиск заброшенных доменов из выдачи Яндекс и Google.

Нашли домены, а что дальше?

Так как с SQL знакомы лишь некоторые члены нашей команды, да и у тех не было достаточного количества времени на обработку результатов парсинга, я переносил найденные домены на проверку в CRM. Задачи выглядели следующим образом (рисунки 7, 8, 9, 10 — скриншоты из нашей CRM на проверку доменов).

Рисунок 7. Скриншот из CRM. Пример реальной задачи на проверку найденных заброшенных доменов.
Рисунок 7. Скриншот из CRM. Пример реальной задачи на проверку найденных заброшенных доменов.

Как видно на рисунке 7, большую часть найденных доменов я прошу подклеить к дропам, с которыми мы работаем, а не к боевым и реальным сайтам. И это говорит о качестве найденных доменов: они не очень жирные и трастовые. Но это еще не повод расстраиваться, так как дальше я поставил еще 11 задач, в рамках которых были найдены домены для клиента, согласившегося на эксперимент.

Рисунок 8. Скриншот с другими задачами на проверку дропов.
Рисунок 8. Скриншот с другими задачами на проверку дропов.

Здесь может возникнуть вопрос: “что означает проверка дропов?”. Для ответа приведу скриншот с примером задачи из серии “разгребания дропов”.

Рисунок 9. Скриншот из CRM. Детальное описание задачи на проверку заброшенных доменов.
Рисунок 9. Скриншот из CRM. Детальное описание задачи на проверку заброшенных доменов.

Помощники отписывались в задаче по результатам проверки:

Рисунок 10. Результат проверки найденных доменов.
Рисунок 10. Результат проверки найденных доменов.

Сколько денег потратили

В итоге я потратил на задачу по разгребанию дропов 14 часов. В данный момент мы приостановили процесс разгребания, так как дорабатываем автоматизацию для нашего курса по PBN. Скриншот таймера с трудозатратами представлен на рисунке 11.

Рисунок 11. Скриншот таймера с трудозатратами.
Рисунок 11. Скриншот таймера с трудозатратами.

Остальные члены нашей команды тратят в среднем 11 минут на проверку домена для последующей его покупки и использования для сайтов клиентов или для PBN-сетей. Для примера привожу скриншот из Power BI.

Рисунок 12. Скриншот из Power BI.
Рисунок 12. Скриншот из Power BI.

В конечном итоге мы выкупили для клиента 14 доменов. Одиннадцать из них заклеили на главную страницу сайта, остальные три - на внутренние страницы.

Рисунок 13. Скриншот из таблицы по работе со склейкой.
Рисунок 13. Скриншот из таблицы по работе со склейкой.

Итоговые трудозатраты:

  • 258 минут (или 7452 р.) на проверку всех доменов (24 шт.). Осталось 14 доменов. Это трудозатраты помощников.
  • 853 минуты (или 33 937 р.) на задачи по разгребанию дропов. Это мои трудозатраты.
  • 2646 р. — регистрация доменов.
  • 10 000 р. — организация хостинга для редиректов.

Итого: 54 035 р. за два рабочих месяца.

Почему данные указаны в минутах? Обращаясь к нам, клиенты покупают рабочее время специалистов. Об этом мы частично писали в этой статье. Именно поэтому у нас есть строгая аналитика задач в CRM — с затраченным временем и прочими данными.

Результаты

Результаты по позициям представлены на рисунке 14.

Рисунок 14. Видимость в Яндекс и Google с обозначением этапов подклейки.
Рисунок 14. Видимость в Яндекс и Google с обозначением этапов подклейки.
  • Как видно на рисунке выше, на этапе первой подклейки (с 25 по 31 октября 2022 года) видимость сайта начала расти в ТОП-100 и ТОП-50 (серый и оранжевый график).
  • К моменту второй подклейки (начало ноября) сайт уже начал ранжироваться в ТОП-20.
  • Третья подклейка закончилась в середине декабря, к этому моменту в ТОП-10 начали заходить ключевые слова в Google.

Да, конечно, это не является примером идеальной видимости в Google. Но получить 20% видимости по ключевым запросам в ТОП-10 на 35-й день работы с новым доменом — это отличный результат. Всего отслеживается 4120 ключевых запросов.

Про Яндекс не рассказываем — там отработали совсем другие факторы. А что с трафиком? Статистика посещаемости сайта в Google представлена на рисунке 15.

Рисунок 15. Посещаемость сайта в Google.
Рисунок 15. Посещаемость сайта в Google.

Подводим итоги

Выводы можно сделать следующие:

  • Подклейка работает. Важно искать качественные, тематические дропы, с тематическим анкорным ссылочным.
  • На PBN не требуются колоссальные бюджеты, так как мы ежедневно парсим рунет и ищем заброшенные домены. Теперь мы внедряем подобный подход на проектах всех клиентов, не только с высоким бюджетом. Конечно, если вашей тематике требуется узконаправленный парсинг PBN, то это стоит определенных денег. В данном же случае мы циклично парсим все домены и внедряем для всех клиентов, без персонально-индивидуального заказа.
  • В очередной раз развеяли миф о том, что SEO работает лишь спустя 6 месяцев. При наличии желания и возможностей можно достигнуть результата в Google всего за 35 дней.

А что с Яндекс? Там все хорошо. Все мы знаем, что в Яндекс ссылочный фактор находится далеко не на первом месте, поэтому здесь отработали другие факторы. Ниже представлен скриншот видимости в Яндекс.

Рисунок 16. Скриншот видимости в Яндекс.
Рисунок 16. Скриншот видимости в Яндекс.

И на закуску — бонус для тех, кто прочитал до конца

Про слитые коды Яндекса рассказали уже везде, где было возможно. Что из слитых кодов оказалось полезно?

Идем в папку extsearch.tar > fresh > meta > rearrange_data > authority_boost

В одном из файлов обнаруживаем список СМИ, которым доверяет Яндекс как авторитетным источникам. Конечно, нам пришла идея: почему бы не пропарсить их? А с идеей пришла и ее реализация. На скриншоте ниже представлены домены, которые можно выкупить здесь и сейчас. Мы не проверили их качество и не гарантируем того, что они свободны на тот момент, когда вы будете читать этот кейс. Они 100% были свободны 9 февраля в 08:13 по Мск.

Рисунок 17. Скриншот заброшенных доменов. В поле SUM (rating) указан DR из Ahrefs.
Рисунок 17. Скриншот заброшенных доменов. В поле SUM (rating) указан DR из Ahrefs.

Автор: Дмитрий Федосеев (руководитель seo-отдела Ant-Team.ru).

P.S. Подписывайтесь на наш телеграм-канал, чтобы не пропустить наши новые экспертные статьи и самое интересное из мира SEO.

2424
45 комментариев

А подклейка дропов теперь PBN тоже называется? Я просто не в курсе.

3
Ответить

Не-не! Для меня это Антипример! Вероятно, говорящий о том что это не работает совсем!

1. Столько возни: парсинги, выкуы, вычиты, тесты, проверки! Восстановление и подклейка.
2. Как итог, судя по скрину с позициями - у вас там какая-то лютая низкочастотка с 3-4-5 словниками.
3. За 3 месяца получить в Google топ по 3-4 словникам. При этом получить 30 человек в день из Google.... А сколько страниц на сайте, простите?

Я ожидал: щас подклеим десяток жирных класных доменов, получим кнопку "бабло". А по факту - всё что вы сделали, выглядит как пустая работа, которая ничего полезного не дала.

PS откровенно слабый кейс. И боюсь, если вам нечего показать кроме этого кейса в нише "купили и подклеяли", то не вижу у вас никакого УТП.

3
Ответить

кнопку бабло все ищут, но кто готов её показывать?

Ответить

Если у вас это не работает, совсем не означает, что это не работает у остальных, например у нас.

1. Да, согласен, возни у меня было много, чтобы настроить все парсинги и сводить все дропы в единое место. Настроить систему хостингов. Теперь в реальности весь парсинг и возня настраивается быстро.
2. Среднечастотка по нише. Об НЧ речи не идет. Ключи конечно же палить не буду.
3. При настроенном парсинге дропы ищутся в пределах 1-2 дней. Далее вы их находите столько, что физически не можете все разгрести и уже не знаете куда девать и как использовать. А база-то продолжается наполняться и парситься...Ох, а знали бы вы сколько крутых дропов в доменной зоне .sport, которых нет в аукционах РУ сегмента, но спортивных федераций куча сидело на них до 2022 февраля )

Ваши ожидания - ваши проблемы интерпретации данных, которые указаны в статье. С удовольствием посмотрю на ваши кейсы, можно в ЛС, если тут, судя по профилю, рассказать вам не очем.

Ответить

Почему использовали питон? Судя по вашему кейсу, можно было взять любой язык (бо питон у вас просто для оперирования «тяжёлым», но простым крудом).

Почему парсите апарсером, когда питон (который у вас уже в стеке) чуть ли не идеальный язык для парсинга, с горой готовых библиотек?

2
Ответить

Не, ну я и не ожидал внятного ответа. Но чтоб прям не нашли что сказать — интересно.))

1
Ответить

Занятно, что статья вышла 2 часа назад, а кто-то домен регнул 2023-03-02T09:34:06Z прям за несколько часов до, как чуяли)

2
Ответить