Как настроить мониторинг освобождающихся ru и рф доменов

Как настроить мониторинг освобождающихся ru и рф доменов

Всем привет! Хочу поделиться с вами небольшой инструкцией, как настроить свой мониторинг простой дроп-доменов определенной тематики в зоне ru и рф.

Зачем нужно мониторить освобождающиеся домены?

Если кто-то не знает, что такое дроп домены, обязательно посмотрите это видео. Такой способ продвижения давно используют SEO специалисты для продвижения доменов на западе, но и для СНГ сайтов в Google он хорошо работает.

Что нужно, чтобы настроить мониторинг?

Есть специальные сервисы, которые предоставляют данные об освобождающихся доменах. Я написал небольшой скрипт, который фильтрует домены и присылает в ТГ. Что нужно, чтобы его настроить:

  • Сервер, где будет работать скрип мониторинга. Подойдет самый дешевый. Я купил себе за 169 рублей в месяц в timeweb;

  • Настроенный на нем Docker Compose и GIT. Это несложно. Я дам ссылки на инструкции;

  • Создать своего ТГ бот. Это тоже несложно сделать по инструкции;

  • Настроить на сервере мой скрипт мониторинга.

Что делает скрипт:

  1. Скрипт выгружает домены backorder. ru, которые освобождаются завтра и имеют минимум одного донора;

  2. Фильтрует их, чтобы не было доменов в реестре РКН, судебных разбирательств и не в стоп-листе на передачу прав;

  3. Составляет список доменов с вхождением ключей в домен;

  4. Список доменов с вхождением ключей в контент сайта. Контент берется из веб-архива;
  5. Присылает эти списки сообщением в ТГ.

Вот как выглядит сообщение от бота:

Как настроить мониторинг освобождающихся ru и рф доменов

Ключевые слова для фильтрации доменов задаются с помощью регулярных выражений. Одна регулярка для поиска ключей в домене, вторая для поиска ключей. Это нужно, чтобы найти домн определенной тематики. Можно сгенерить регулярные выражения под тематику с помощью chatGPT. Я оставил в скрипте свои регулярки для мед тематики для примера:

Как настроить мониторинг освобождающихся ru и рф доменов

Контент домена выгружается из archive. org по API. Это довольно ресурсозатратная операция в плане количества запросов, т. к. нужно отправлять запросы к API по каждому домену. Поэтому я ограничил количество доменов на 1000. Но домены отсортированы по количеству доноров, поэтому скрипт проверить первую тысячу с самым хорошим ссылочным. Скрипт загружает html из снапшота сайта и просто проверяет соответствие регулярному выражению. Т. е. нет никакой лемматизации или проверки, где находится ключ (в контенте или в ссылке, или в title и т. д.) . Но по моему опыту, этого достаточно если правильно составить регулярное выражение.

Инструкция по настройке мониторинга:

  1. Покупаем сервер;
  2. Заходит на сервер и устанавливаем Docker Compose по инструкции;

  3. Устанавливаем GIT по инструкции. Клонируем мой репозиторий

    cd ~

    git clone https://gitlab. com/AlexanderRahmanin/hive-backorder-bot
  4. Вам необходимо создать Telegram бота. Вот ссылка на инструкцию (только пункт 1. Регистрация). Прописать данные бота в .env файл. TELEGRAM_API_TOKEN - токен, который вам выдал @botfather. TELEGRAM_CHAT_ID - id чата, куда будет писать бот (можно узнать с помощью бота);
  5. Добавить ваши регулярные выражения для фильтрации доменов в .env файл.

    FILTER_REGEX_FOR_DOMAIN - регулярка для вхождения в домен. FILTER_REGEX_FOR_WAYBACK - регулярка для вхождения в контент сайта;

  6. Запускаем скрипт:
    docker-compose up
  7. Если скрипт заработал и вам пришло сообщение, значит у вас все получилось. Теперь осталось настроить выполнения скрипта по расписанию, т.е. поставить его на cron:

    crontab -e

    И прописываем строку

    45 10 * * * node “папка скрипта”/app/index.js

    Подробнее про выполнение скриптов с помощью cron можно почитать тут. Но если кратко, 45 10 в строке для крон означают 10 часов и 45 минут по времени вашего сервера. Так вы можете сами настроить удобное для вас время выполнения скрипта.

Профит от скрипта и мониторинга

В результате получаем ежедневный мониторинг тематичных доменов. Далее домены, которые прислал бот, нужно проверить на ссылочные метрики. Для этого можно использовать сервис, где есть пакетная проверка, например, Ahrefs, checktrust.ru или какой-то другой. Доноров с хорошими показателями будет совсем немного, и их уже можно проверить руками, каждый отдельно.

Сразу скажу, что скрипт не сделает за вас всю работу. Вам нужно хорошо проработать регулярное выражение для поиска нужных доменов. И даже в таком случае вам будет попадаться много доменов без ссылочного. Но доменов очень много, и скрипт помогает существенно сузить круг. А за счет того, что с мониторингом эту работу можно легко вести ежедневно, есть возможность находить хорошие домен.

Сам использую данный скрипт. Недавно нашел классный домен мед домен, но об этому расскажу в отдельном кейсе. Я хочу поддерживать и дорабатывать этот скрип, поэтому если у вас есть идеи или пожелания, не стесняйтесь их писать в комментариях или мне в ЛС.

Спасибо за прочтение! Буду благодарен за подписку на мой ТГ-канал. В нем я делаю обзоры дорогих доменов, делюсь SEO-кейсами и аналитикой, которые меня заинтересовали.

1414
5 комментариев

Слишком много телодвижений для тех кто не сильно заинтересован. По идее эту нишу должны занимать сами сервисы перехвата, но не понятно почему.
В то же время если бы вы реализовали сервис в виде вбил в бота свои ключи - был бы интерес.

3
Ответить

Спасибо за фидбек! Вот я думаю как раз и думал о ТГ боте)
У меня есть наработки по парсингу expireddomains.net, где еще больше доменов. Просто сейчас пытаюсь понять нужно ли это кому-то

Ответить

Полезная информация, спасибо)

1
Ответить