Как настроить мониторинг освобождающихся ru и рф доменов

Всем привет! Хочу поделиться с вами небольшой инструкцией, как настроить свой мониторинг простой дроп-доменов определенной тематики в зоне ru и рф.

Если кто-то не знает, что такое дроп домены, обязательно посмотрите это видео. Такой способ продвижения давно используют SEO специалисты для продвижения доменов на западе, но и для СНГ сайтов в Google он хорошо работает.

Есть специальные сервисы, которые предоставляют данные об освобождающихся доменах. Я написал небольшой скрипт, который фильтрует домены и присылает в ТГ. Что нужно, чтобы его настроить:

• Сервер, где будет работать скрип мониторинга. Подойдет самый дешевый. Я купил себе за 169 рублей в месяц в timeweb;

• Настроенный на нем Docker Compose и GIT. Это несложно. Я дам ссылки на инструкции;

• Создать своего ТГ бот. Это тоже несложно сделать по инструкции;

• Настроить на сервере мой скрипт мониторинга.
  

1. Скрипт выгружает домены backorder. ru, которые освобождаются завтра и имеют минимум одного донора;

2. Фильтрует их, чтобы не было доменов в реестре РКН, судебных разбирательств и не в стоп-листе на передачу прав;

3. Составляет список доменов с вхождением ключей в домен;

4. Список доменов с вхождением ключей в контент сайта. Контент берется из веб-архива;

5. Присылает эти списки сообщением в ТГ.

Вот как выглядит сообщение от бота:

Ключевые слова для фильтрации доменов задаются с помощью регулярных выражений. Одна регулярка для поиска ключей в домене, вторая для поиска ключей. Это нужно, чтобы найти домн определенной тематики. Можно сгенерить регулярные выражения под тематику с помощью chatGPT. Я оставил в скрипте свои регулярки для мед тематики для примера:

Контент домена выгружается из archive. org по API. Это довольно ресурсозатратная операция в плане количества запросов, т. к. нужно отправлять запросы к API по каждому домену. Поэтому я ограничил количество доменов на 1000. Но домены отсортированы по количеству доноров, поэтому скрипт проверить первую тысячу с самым хорошим ссылочным. Скрипт загружает html из снапшота сайта и просто проверяет соответствие регулярному выражению. Т. е. нет никакой лемматизации или проверки, где находится ключ (в контенте или в ссылке, или в title и т. д.) . Но по моему опыту, этого достаточно если правильно составить регулярное выражение.

1. Покупаем сервер;

2. Заходит на сервер и устанавливаем Docker Compose по инструкции;

3. Устанавливаем GIT по инструкции. Клонируем мой репозиторий

   cd ~

   git clone https://gitlab. com/AlexanderRahmanin/hive-backorder-bot
4. Вам необходимо создать Telegram бота. Вот ссылка на инструкцию (только пункт 1. Регистрация). Прописать данные бота в .env файл. TELEGRAM_API_TOKEN - токен, который вам выдал @botfather. TELEGRAM_CHAT_ID - id чата, куда будет писать бот (можно узнать с помощью бота);
   

5. Добавить ваши регулярные выражения для фильтрации доменов в .env файл.

   FILTER_REGEX_FOR_DOMAIN - регулярка для вхождения в домен. FILTER_REGEX_FOR_WAYBACK - регулярка для вхождения в контент сайта;

6. Запускаем скрипт:
   docker-compose up
   
7. Если скрипт заработал и вам пришло сообщение, значит у вас все получилось. Теперь осталось настроить выполнения скрипта по расписанию, т.е. поставить его на cron:

   crontab -e

   И прописываем строку

   45 10 * * * node “папка скрипта”/app/index.js

   Подробнее про выполнение скриптов с помощью cron можно почитать тут. Но если кратко, 45 10 в строке для крон означают 10 часов и 45 минут по времени вашего сервера. Так вы можете сами настроить удобное для вас время выполнения скрипта.

В результате получаем ежедневный мониторинг тематичных доменов. Далее домены, которые прислал бот, нужно проверить на ссылочные метрики. Для этого можно использовать сервис, где есть пакетная проверка, например, Ahrefs, checktrust.ru или какой-то другой. Доноров с хорошими показателями будет совсем немного, и их уже можно проверить руками, каждый отдельно.

Сразу скажу, что скрипт не сделает за вас всю работу. Вам нужно хорошо проработать регулярное выражение для поиска нужных доменов. И даже в таком случае вам будет попадаться много доменов без ссылочного. Но доменов очень много, и скрипт помогает существенно сузить круг. А за счет того, что с мониторингом эту работу можно легко вести ежедневно, есть возможность находить хорошие домен.

Сам использую данный скрипт. Недавно нашел классный домен мед домен, но об этому расскажу в отдельном кейсе. Я хочу поддерживать и дорабатывать этот скрип, поэтому если у вас есть идеи или пожелания, не стесняйтесь их писать в комментариях или мне в ЛС.