ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов

История о том, как мы начали искать заброшенные домены для клиента с относительно низким бюджетом. Нашли, купили, подклеили и вошли в ТОП-10 по ключевым запросам.

Рисунок 0. Кейс по PBN с низким бюджетом.

В рамках подготовки курса по PBN (стартует 9 марта) мы разработали алгоритм полуавтоматического поиска заброшенных доменов вне аукциона. Мы запустили эксперимент на личных сайтах компании и подумали, почему бы также не порадовать одного из тех наших клиентов, с которыми мы работаем более 10 лет?

Клиента нашли и предупредили, что это эксперимент. Поэтому он выдал нам совсем свежий сайт, который был заполнен контентом всего 2 месяца назад. Далее от клиента требовалось лишь выделять бюджет на проверку найденных дропов и их покупку. Всю автоматизацию по поиску мы взяли на себя.

Хронология событий

  • В начале 2022 года мы запускаем эксперимент с PBN.
  • Обучаем команду работе с аукционами, проверке дропов, индексации, ссылочным стратегиям.
  • Обучаем контент-менеджеров работе с AI-статьями, изображениями.
  • Доказываем эффективность PBN одному из клиентов (об этом наш предыдущий кейс). Параллельно внедряем PBN для всех клиентов в компании. Кто-то соглашается, кто-то нет.
  • Понимаем, что аукционы –- это небыстро, а в некоторых случаях и дорого. Не все клиенты способны себе позволить работу с PBN.
  • С помощью Python и A-Parser разрабатываем полуавтоматический способ парсинга заброшенных доменов, которые не участвуют в аукционах.
  • Проверяем и покупаем домены. Подклеиваем напрямую к главной странице.
  • Постепенно выходим в ТОП-10 Google за 35 дней.

Как было раньше? Без автоматизации

  • Собираешь список сайтов для парсинга заброшенных доменов.
  • Закидываешь их в лягушку (Screaming FROG).
  • Дожидаешься результатов парсинга.
  • Начинаешь ручную обработку: проверка WHOIS доменов, проверка вебархива, Яндекс ИКС, блокировки РКН, Ахрефс.
  • Покупаешь домен.
  • Подклеиваешь или работаешь как с отдельным PBN сайтом.

Из очевидных минусов такого подхода:

  • Отсутствие автоматизации. Все этапы приходилось обрабатывать вручную.
  • Множество таблиц. Безумное количество времени уходило на их сведение.
  • Мощности компьютера. Лягушка или любой другой подобный краулер для парсинга требуют больших ресурсов ПК. Парсить большие сайты было невозможно.

Именно так мы работали с дропами и PBN с 2013 по 2022 год. Что же изменилось? В 2021 году мы начали активную работу с парсером A-Parser, ряд членов команды, в том числе и я, детально подошли к изучению Python, SQL. Благодаря этому у нас появилась возможность автоматизировать множество процессов в SEO, и в первую очередь в работе с PBN.

Схема разработанного алгоритма

Важно понимать, что алгоритм, описанный в данной статье, принципиально отличается от парсинга освобождающихся доменов, которые представлены в нашей панели аукционных дропов.

Одно из основных отличий — принцип поиска доменов. Если в панель попадают аукционные домены, которые освободятся в ближайшее время, то в текущем кейсе мы описываем алгоритм поиска и последующую работу с заброшенными сайтами, которых сейчас нет в базе аукционов доменов, потому что эти сайты освобождались довольно давно.

Автоматизировать процесс я начал 23 октября 2022 года. И уже тогда отправил первый коммит в гит. Для примера скриншот ниже из лога GIT-сервера.

Рисунок 1. Скриншот из лога git в PyCharm.

Далее рассмотрим алгоритм парсинга заброшенных сайтов. Без кода. Главное — понять принцип.

В данный момент наша база по русскоязычному рынку SEO состоит из 811 000 дропов и более 3 600 000 рабочих доменов. Для примера даем визуализацию ниже.

Рисунок 2. Распределение доменов по статусу регистрации. Скриншот из Apache Superset.

За день в базу данных залетает примерно по 20 000 новых доменов. Конечно, большая часть доменов была найдена и добавлена в базу за первый месяц парсинга. Будем считать, что разработали и тестируем Ahrefs на минималках.

Рисунок 3. Количественная визуализация результатов парсинга/поиска заброшенных доменов. Скриншот из Apache Superset.

Вариант №1. Парсинг сайтов

Рисунок 4. Схема парсинга внешних ссылок с указанного сайта и поиск заброшенных доменов.

Схема довольно простая, а автоматизация сложная. Но это однозначно стоило того результата, о котором мы поговорим в конце кейса.

  • Мы указываем в Python список сайтов для вечного парсинга.
  • Python обращается к файлу и передает запросы в А-Парсер по API.
  • A-Parser собирает все внешние ссылки с указанного домена.
  • Python сохраняет внешние ссылки и далее автоматически сводит данные в MySQL: проверяет доступность покупки, Яндекс ИКС, Ahrefs, блокировки в РКН.
  • Когда закончили парсить сайт, берем следующие сайты из базы данных, которые нашли на этапе парсинга текущего сайта.

Для примера я отправил на парсинг внешних ссылок всего один сайт — сайт правительства Санкт-Петербурга. Он парсился на внешние ссылки/домены около 2-3 дней. За это время с него было собрано ~ 60 000 доменов. На рисунке 5 представлен скриншот из базы данных MySQL.

Рисунок 5. Скриншот из Workbench. Количество найденных доменов (внешних).

Как вы думаете, какое количество найденных доменов было доступно к регистрации и выкуплено после проверки? Напишите свои варианты в комментариях к кейсу.

Вариант №2. Парсинг выдачи по ключам

Принципиальное отличие от предыдущего варианта в том, что здесь мы уже парсим выдачу Яндекс или Google по ключевым словам. Далее проверяем найденные домены в выдаче на возможность регистрации и дополнительно парсим найденные ссылки на внешние исходящие ссылки. Схематически это выглядит так, как представлено на рисунке 6.

Рисунок 6. Поиск заброшенных доменов из выдачи Яндекс и Google.

Нашли домены, а что дальше?

Так как с SQL знакомы лишь некоторые члены нашей команды, да и у тех не было достаточного количества времени на обработку результатов парсинга, я переносил найденные домены на проверку в CRM. Задачи выглядели следующим образом (рисунки 7, 8, 9, 10 — скриншоты из нашей CRM на проверку доменов).

Рисунок 7. Скриншот из CRM. Пример реальной задачи на проверку найденных заброшенных доменов.

Как видно на рисунке 7, большую часть найденных доменов я прошу подклеить к дропам, с которыми мы работаем, а не к боевым и реальным сайтам. И это говорит о качестве найденных доменов: они не очень жирные и трастовые. Но это еще не повод расстраиваться, так как дальше я поставил еще 11 задач, в рамках которых были найдены домены для клиента, согласившегося на эксперимент.

Рисунок 8. Скриншот с другими задачами на проверку дропов.

Здесь может возникнуть вопрос: “что означает проверка дропов?”. Для ответа приведу скриншот с примером задачи из серии “разгребания дропов”.

Рисунок 9. Скриншот из CRM. Детальное описание задачи на проверку заброшенных доменов.

Помощники отписывались в задаче по результатам проверки:

Рисунок 10. Результат проверки найденных доменов.

Сколько денег потратили

В итоге я потратил на задачу по разгребанию дропов 14 часов. В данный момент мы приостановили процесс разгребания, так как дорабатываем автоматизацию для нашего курса по PBN. Скриншот таймера с трудозатратами представлен на рисунке 11.

Рисунок 11. Скриншот таймера с трудозатратами.

Остальные члены нашей команды тратят в среднем 11 минут на проверку домена для последующей его покупки и использования для сайтов клиентов или для PBN-сетей. Для примера привожу скриншот из Power BI.

Рисунок 12. Скриншот из Power BI.

В конечном итоге мы выкупили для клиента 14 доменов. Одиннадцать из них заклеили на главную страницу сайта, остальные три - на внутренние страницы.

Рисунок 13. Скриншот из таблицы по работе со склейкой.

Итоговые трудозатраты:

  • 258 минут (или 7452 р.) на проверку всех доменов (24 шт.). Осталось 14 доменов. Это трудозатраты помощников.
  • 853 минуты (или 33 937 р.) на задачи по разгребанию дропов. Это мои трудозатраты.
  • 2646 р. — регистрация доменов.
  • 10 000 р. — организация хостинга для редиректов.

Итого: 54 035 р. за два рабочих месяца.

Почему данные указаны в минутах? Обращаясь к нам, клиенты покупают рабочее время специалистов. Об этом мы частично писали в этой статье. Именно поэтому у нас есть строгая аналитика задач в CRM — с затраченным временем и прочими данными.

Результаты

Результаты по позициям представлены на рисунке 14.

Рисунок 14. Видимость в Яндекс и Google с обозначением этапов подклейки.
  • Как видно на рисунке выше, на этапе первой подклейки (с 25 по 31 октября 2022 года) видимость сайта начала расти в ТОП-100 и ТОП-50 (серый и оранжевый график).
  • К моменту второй подклейки (начало ноября) сайт уже начал ранжироваться в ТОП-20.
  • Третья подклейка закончилась в середине декабря, к этому моменту в ТОП-10 начали заходить ключевые слова в Google.

Да, конечно, это не является примером идеальной видимости в Google. Но получить 20% видимости по ключевым запросам в ТОП-10 на 35-й день работы с новым доменом — это отличный результат. Всего отслеживается 4120 ключевых запросов.

Про Яндекс не рассказываем — там отработали совсем другие факторы. А что с трафиком? Статистика посещаемости сайта в Google представлена на рисунке 15.

Рисунок 15. Посещаемость сайта в Google.

Подводим итоги

Выводы можно сделать следующие:

  • Подклейка работает. Важно искать качественные, тематические дропы, с тематическим анкорным ссылочным.
  • На PBN не требуются колоссальные бюджеты, так как мы ежедневно парсим рунет и ищем заброшенные домены. Теперь мы внедряем подобный подход на проектах всех клиентов, не только с высоким бюджетом. Конечно, если вашей тематике требуется узконаправленный парсинг PBN, то это стоит определенных денег. В данном же случае мы циклично парсим все домены и внедряем для всех клиентов, без персонально-индивидуального заказа.
  • В очередной раз развеяли миф о том, что SEO работает лишь спустя 6 месяцев. При наличии желания и возможностей можно достигнуть результата в Google всего за 35 дней.

А что с Яндекс? Там все хорошо. Все мы знаем, что в Яндекс ссылочный фактор находится далеко не на первом месте, поэтому здесь отработали другие факторы. Ниже представлен скриншот видимости в Яндекс.

Рисунок 16. Скриншот видимости в Яндекс.

И на закуску — бонус для тех, кто прочитал до конца

Про слитые коды Яндекса рассказали уже везде, где было возможно. Что из слитых кодов оказалось полезно?

Идем в папку extsearch.tar > fresh > meta > rearrange_data > authority_boost

В одном из файлов обнаруживаем список СМИ, которым доверяет Яндекс как авторитетным источникам. Конечно, нам пришла идея: почему бы не пропарсить их? А с идеей пришла и ее реализация. На скриншоте ниже представлены домены, которые можно выкупить здесь и сейчас. Мы не проверили их качество и не гарантируем того, что они свободны на тот момент, когда вы будете читать этот кейс. Они 100% были свободны 9 февраля в 08:13 по Мск.

Рисунок 17. Скриншот заброшенных доменов. В поле SUM (rating) указан DR из Ahrefs.

Автор: Дмитрий Федосеев (руководитель seo-отдела Ant-Team.ru).

P.S. Подписывайтесь на наш телеграм-канал, чтобы не пропустить наши новые экспертные статьи и самое интересное из мира SEO.

0
43 комментария
Написать комментарий...
Виктор к

А подклейка дропов теперь PBN тоже называется? Я просто не в курсе.

Ответить
Развернуть ветку
Дмитрий Пашнин

Не-не! Для меня это Антипример! Вероятно, говорящий о том что это не работает совсем!

1. Столько возни: парсинги, выкуы, вычиты, тесты, проверки! Восстановление и подклейка.
2. Как итог, судя по скрину с позициями - у вас там какая-то лютая низкочастотка с 3-4-5 словниками.
3. За 3 месяца получить в Google топ по 3-4 словникам. При этом получить 30 человек в день из Google.... А сколько страниц на сайте, простите?

Я ожидал: щас подклеим десяток жирных класных доменов, получим кнопку "бабло". А по факту - всё что вы сделали, выглядит как пустая работа, которая ничего полезного не дала.

PS откровенно слабый кейс. И боюсь, если вам нечего показать кроме этого кейса в нише "купили и подклеяли", то не вижу у вас никакого УТП.

Ответить
Развернуть ветку
ialeksandr

кнопку бабло все ищут, но кто готов её показывать?

Ответить
Развернуть ветку
Дмитрий Пашнин

Собственно, им деньги за показывание этой кнопки на курсах платят. Поэтому они должны продавать рабочие идеи, а тут продают воздух спрятанный за кучей высокопарных слов и скриншотов.
Больше походит на лохоторон :)

Ответить
Развернуть ветку
Dmitriy Fedoseev

Если у вас это не работает, совсем не означает, что это не работает у остальных, например у нас.

1. Да, согласен, возни у меня было много, чтобы настроить все парсинги и сводить все дропы в единое место. Настроить систему хостингов. Теперь в реальности весь парсинг и возня настраивается быстро.
2. Среднечастотка по нише. Об НЧ речи не идет. Ключи конечно же палить не буду.
3. При настроенном парсинге дропы ищутся в пределах 1-2 дней. Далее вы их находите столько, что физически не можете все разгрести и уже не знаете куда девать и как использовать. А база-то продолжается наполняться и парситься...Ох, а знали бы вы сколько крутых дропов в доменной зоне .sport, которых нет в аукционах РУ сегмента, но спортивных федераций куча сидело на них до 2022 февраля )

Ваши ожидания - ваши проблемы интерпретации данных, которые указаны в статье. С удовольствием посмотрю на ваши кейсы, можно в ЛС, если тут, судя по профилю, рассказать вам не очем.

Ответить
Развернуть ветку
Дмитрий Пашнин

Так это у вас это не работает, судя по примеру :)

Ответить
Развернуть ветку
Дмитрий Пашнин
С удовольствием посмотрю на ваши кейсы, можно в ЛС, если тут, судя по профилю, рассказать вам не очем.

Не доставлю новорегу удовольствия смотреть на мои кейсы. С какой стати? :)
Некоторые кейсы любят тишину, некоторые nda, а некоторые настолько тривиальны, что с ними в приличном обществе не показываются.
Вот с таким кейсом как этот в приличном обществе не показываются :)

Вы пиаритесь тут перед кем-то, ну так пиарьтесь перед своей аудиторией. Но в целом, образованная часть местного seo-сообщества прекрасно видит что в реальности стоит за вашими "кейсами".

PS А вообще это не круто. Печататься тут и в ответ на критику заводить новорег и требовать "показать кейсы а то вам самим показать нечего". Отвратительное поведение. Незачот.

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Этот "новорег" - автор большей части наших кейсов, в том числе тех, которые вы хвалили в других своих комментариях) Просто публикуются они в общем блоге компании, а раньше публиковались тут https://vc.ru/u/202706-aleksandr-chepukaytis
Дима не сидит на VC и не хейтит чужие кейсы - у него просто нет на это времени, он постоянно работает, экспериментирует и создает собственные кейсы, часть из которых вы имеете возможность читать и активно комментировать.

Создать кейс - это труд и время, описать его - тоже труд и время. Хейтить результаты чужого труда - безусловно, тоже требует времени и усилий. Вопрос в том, в чем больше пользы и кто на что готов тратить свои ресурсы.

Ответить
Развернуть ветку
Дмитрий Пашнин

Какая скучная жизнь у Димы, могу ему только посочуствовать. От работы то тоже надо отдыхать, причём самыми разными путями. Вы же сами сказали, что я не только хейтил, но и хвалил )))

Справедливости ради, он и правда новорег аккаунт сделал, я не должен раздираться кто он, что и где для вас пишет :)

Ответить
Развернуть ветку
Руслан Баночкин

Почему использовали питон? Судя по вашему кейсу, можно было взять любой язык (бо питон у вас просто для оперирования «тяжёлым», но простым крудом).

Почему парсите апарсером, когда питон (который у вас уже в стеке) чуть ли не идеальный язык для парсинга, с горой готовых библиотек?

Ответить
Развернуть ветку
Руслан Баночкин

Не, ну я и не ожидал внятного ответа. Но чтоб прям не нашли что сказать — интересно.))

Ответить
Развернуть ветку
Дмитрий Федосеев

Привет. Действительно, пропустил вопрос. Не вижу смысла тут что-то придумывать, отвечаю по существу.

Питон - то, что я начал изучать пару лет назад, в качестве языка обработки данных. Далее пошел SQL, базы данных. Ну и понеслась. Сейчас близок к хандупу, данных много, обычные СУБД, по типу MySQL, неспособны их вывозить.

Почему парсим а-парсером, когда есть питон? Тоже все просто. Вопрос ресурса. Мне проще заплатить 400$ или 600$ за готовый инструмент парсинга, с API (а-парсер), где постоянно обновляются парсеры, имеется связка с кучей различных сервисов по каптчам, чем самому это все связывать/поддерживать, дорабатывать.

Не спорю, что это все можно написать на питоне или куче других языков.

Ответить
Развернуть ветку
ialeksandr

Занятно, что статья вышла 2 часа назад, а кто-то домен регнул 2023-03-02T09:34:06Z прям за несколько часов до, как чуяли)

Ответить
Развернуть ветку
Рустам Кагарманов

модераторы vc)

Ответить
Развернуть ветку
Ольга.

Яндекс индексирует материалы виси ещё в процессе написания.

Ответить
Развернуть ветку
Рустам Кагарманов

он предсказывает будущие посты

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Смешное совпадение)

Ответить
Развернуть ветку
Zloy Marketolog

Когда все на VC пишут статьи про клиентов "с низким бюджетом", а когда обращаешься - заряжают бюджет от 10 тыщ баксов :D

Ответить
Развернуть ветку
Ant-Team.ru
Автор

В статье мы рассказываем почему бюджет был низким. В целом да, придти к нам за одной этой услугой не получится

Ответить
Развернуть ветку
Ольга.

"с ОТНОСИТЕЛЬНО низким бюджетом" (капс мой)

Ответить
Развернуть ветку
Виктор Петров

Красиво. Оцениваю как результаты, так и сам процесс - за разбор инструментария отдельная благодарность.

Ответить
Развернуть ветку
John Doe

Що таке підклеювання. Это 301 redirect, что ли?..
Хостинги все разные или один через CloudFlare?

Ответить
Развернуть ветку
ialeksandr

Планируете вводить свой маркер качества ссылок у дропа, опираясь например на те же сайты которым доверяет Яндекс или Гугл?

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Когда начнем парсить больше сайтов. Пока - нет, но в течении года думаю сделаем.

Ответить
Развернуть ветку
Andrey Tikhonov

А курс уже на складчике, народ шустрый)

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Даже если купят ничего не даст. Все дело в скриптах, а скрипты отдельно привязываются.
Даже если сломают скрипты их надо поддерживать.
Короче складчик бесполезен

Ответить
Развернуть ветку
ialeksandr

курс для начинающих, а у них будет весьма много вопросов, а кому они будет их задавать? Так хотя бы обратная связь будет)

Ответить
Развернуть ветку
Дмитрий

1) Как технически настраиваете редиректы? Чтобы со всех возможных страниц сделать 301 на моем хостинге нужно подключить услугу +1 сайт и в .htaccess сделать настройки. Если прикрепить домен к каталогу, получится +1 зеркало. Это плохо?
2) Если сайта уже нет в выдаче, разворачиваете сайт или сразу клеите?

Ответить
Развернуть ветку
Ant-Team.ru
Автор

1. Мы используем плагин для WP он для всех 404 делает клей на морду.
Если нужна постраничная склейка, то в .htaccess
2. В данном случае клеили сразу

Ответить
Развернуть ветку
Дмитрий

Кстати https://mosprize.ru и https://onpapa.ru забрал. Не знаю зачем. Если что, через год освободятся, но это не точно.
Лайк прожал, на телегу подписан, курс огонь.
Кстати, seo ссылка с rg 115к, а bfm на биржах не продает.

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Срочно поднимать дроп)

Ответить
Развернуть ветку
Дмитрий

1. Правильно ли понял, что все 404 через 301 на морду дропа, с морды 301 куда нам надо?

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Сорри, я немного запутался. Если мы клеим, то тут ситуация следующая. Если донор сильный и есть анкорка которую можем приклеить к отдельным страницам нашего сайта, то клеим к ним. Если анкорки нет для отдельных страниц нашего сайта, то клеим на морду

Ответить
Развернуть ветку
Michael

14 доменов склеили за какой период?

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Было 3 подклейки в октябре, ноябре и декабре

Ответить
Развернуть ветку
Michael

Тогда я не понял.

"В конечном итоге мы выкупили для клиента 14 доменов. Одиннадцать из них заклеили на главную страницу сайта, остальные три - на внутренние страницы."

14 на все клиентские сайты? А в кейсе для конкретного сайта хватило всего лишь 3? Или как?

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Подклеили за три раза

Ответить
Развернуть ветку
Michael

Странно, что ПС никак не фильтруют такое. В реальной жизни клей возможен только при переезде сайта. То есть буквально несколько раз, но никак не 14 за 3 месяца.

Ответить
Развернуть ветку
Ant-Team.ru
Автор

переезд делается с дроп на наш домен. связь много к одному, а не наоборот

Ответить
Развернуть ветку
Michael

Это очевидно. Я про это и говорю. Из 14 сайтов получился 1 за 3 месяца.

Ответить
Развернуть ветку
Игорь Бакалов

Что можете толкового посоветовать для изучения питона и sql?

Ответить
Развернуть ветку
Ant-Team.ru
Автор

Яндекс Практикум на мой взгляд это лучшее из того что есть массового

Ответить
Развернуть ветку
Ольга.

Одна птичка сказала про Питона:
https://pythonworld.ru/
https://docs.python.org/3/tutorial/
+ Stack Overflow

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
40 комментариев
Раскрывать всегда