Как настроить мониторинг освобождающихся ru и рф доменов

Всем привет! Хочу поделиться с вами небольшой инструкцией, как настроить свой мониторинг простой дроп-доменов определенной тематики в зоне ru и рф.

Если кто-то не знает, что такое дроп домены, обязательно посмотрите это видео. Такой способ продвижения давно используют SEO специалисты для продвижения доменов на западе, но и для СНГ сайтов в Google он хорошо работает.

Есть специальные сервисы, которые предоставляют данные об освобождающихся доменах. Я написал небольшой скрипт, который фильтрует домены и присылает в ТГ. Что нужно, чтобы его настроить:

Вот как выглядит сообщение от бота:

Ключевые слова для фильтрации доменов задаются с помощью регулярных выражений. Одна регулярка для поиска ключей в домене, вторая для поиска ключей. Это нужно, чтобы найти домн определенной тематики. Можно сгенерить регулярные выражения под тематику с помощью chatGPT. Я оставил в скрипте свои регулярки для мед тематики для примера:

Контент домена выгружается из archive. org по API. Это довольно ресурсозатратная операция в плане количества запросов, т. к. нужно отправлять запросы к API по каждому домену. Поэтому я ограничил количество доменов на 1000. Но домены отсортированы по количеству доноров, поэтому скрипт проверить первую тысячу с самым хорошим ссылочным. Скрипт загружает html из снапшота сайта и просто проверяет соответствие регулярному выражению. Т. е. нет никакой лемматизации или проверки, где находится ключ (в контенте или в ссылке, или в title и т. д.) . Но по моему опыту, этого достаточно если правильно составить регулярное выражение.

В результате получаем ежедневный мониторинг тематичных доменов. Далее домены, которые прислал бот, нужно проверить на ссылочные метрики. Для этого можно использовать сервис, где есть пакетная проверка, например, Ahrefs, checktrust.ru или какой-то другой. Доноров с хорошими показателями будет совсем немного, и их уже можно проверить руками, каждый отдельно.

Сразу скажу, что скрипт не сделает за вас всю работу. Вам нужно хорошо проработать регулярное выражение для поиска нужных доменов. И даже в таком случае вам будет попадаться много доменов без ссылочного. Но доменов очень много, и скрипт помогает существенно сузить круг. А за счет того, что с мониторингом эту работу можно легко вести ежедневно, есть возможность находить хорошие домен.

Сам использую данный скрипт. Недавно нашел классный домен мед домен, но об этому расскажу в отдельном кейсе. Я хочу поддерживать и дорабатывать этот скрип, поэтому если у вас есть идеи или пожелания, не стесняйтесь их писать в комментариях или мне в ЛС.