Как я сделал телеграм парсер - из телеграма на сайт

Я постоянно разрабатываю различные php скрипты, как фрилансер (если вам нужна разработка, обращайтесь) . Мое самое любимое – это парсеры. И вот я долго писал, но наконец то доделал телеграм парсер открытых пабликов, с помощью которого можно сделать полностью автоматизированный сайт статей/новостей, который обновляется через заданные промежутки времени, и с разными настройками.

Потому что в телеграме контенщикам платят деньги, ведение телеграм каналов это сегодня прибыльно, и некоторые из них выдают поистине стоящий контент.

А сделать себе сайт, который будет этот контент тянуть, теперь достаточно просто, потому что согласно Телеметру, в телеграме присутствует обширная база тематик, сейчас ведут профессиональные телеграм каналы почти на любую тему, и качество контента там очень высокое.

Сейчас все телеграм парсеры в основном делают одну и ту же вещь – парсят телеграм посты из одних груп в другие. Поэтому передо мной стояла сложная задача, вытащить контент из телеграма наружу. К сожалению, таких парсеров я не нашел, поэтому пришлось делать самостоятельно. И на этапе разработки я понял, почему таких парсеров нет, сделать это достаточно сложно.

Единственное что я нашел – это то что Яндекс сделал нечто похожее, но только для тех, кто ведет Дзен каналы, там есть возможность парсить телеграм каналы и отправлять данные в Дзен, но парсить можно только свои собственные каналы. А это не то. И за парсинг без прокси Телеграм постоянно банит.

К счастью я опытный программист, и мне это удалось. Я сделал такой скрипт, на разработку ушла куча тестов и фейлов, но все же у меня получилось.

Я даже подготовил список тематик, где вижу потенциал, из которых можно набрать себе список хороших телеграм каналов, и делать автоматический парсинг по ключевым словам, которые вас интересуют:

Я сразу же сделал новостной сайт, запустил, через неделю сайт стал тормозить. Стал разбираться почему. Смотрел скрипт – все работает исправно. Настроил изначально так, чтобы он тянул не больше 5 телеграм каналов за раз. Стал смотреть логи, оказалось, что идет нагрузка от Яндекса. За неделю я нагенерировал столько контента, что Яндекс стал жадно жрать мой сайт. И от этого случилась временная нагрузка, поа его пауки индексировали мой сайт. Так что затем это прекратилось.

Еще неделю спустя проверил статистику, и увидел, что пошел траффик. Жаль только, что лишь с Яндекса, возможно, Google еще не узнал о сайте, но результаты порадовали, и я начал ставить на сайт рекламу.

Сейчас подумываю о том, как сделать парсер для буржи, если у кого есть идеи, откуда можно парсить интересный контент – подкиньте идеи. У них нет телеграма, есть дискорд, твиттер. Но там мелкие посты, мыслят они слишком поверхностно. Телеграм в этом плане идеальная платформа, и контент там последнее время гораздо лучше даже, чем на обычных www сайтах, т. к. в телеграм сейчас идут профессиональные креативщики и копирайтеры.

Кого заинтересовал мой скрипт, заходите ко мне на сайт, помогу с установкой и настройкой, до Нового Года много свободного времени.

Я так же пишу различные другие скрипты, так что если вам нужно что то конкретное под ваш запрос – так же обращайтесь, все контакты у меня на сайте.

Я всегда открыт к сотрудничеству. Или к обмену опытом, или работе за бартер.