Собрал телеграм-ленту IT-вакансий из открытых источников за пять вечеров с Cursor: что получилось и где споткнулся
jobs-pipe: восемь источников, 17 каналов по стекам и ни одной LLM внутри
Искать работу в IT сейчас — это десяток вкладок: Хабр Карьера, HH, RemoteOK, DOU, ещё пара удалёнщиков. Мне захотелось, чтобы всё это просто приходило в Телеграм одной лентой, без посредников и перепечаток. Так появился jobs-pipe — общий канал @jobs_pipe и 16 каналов по стекам: Python, JS, QA, DevOps, 1С и другие.
Откуда берутся вакансии
Только открытые ленты, без ключей и без парсинга HTML. RemoteOK и Работа России отдают JSON API, HH — публичный RSS поиска по России, Казахстану и Беларуси, Хабр Карьера, WeWorkRemotely, Jobicy, DOU и NoFluffJobs — RSS. LinkedIn и HTML-страницы hh.ru не трогаю сознательно: правила площадок это запрещают. Сборщик ходит по источникам раз в 10 минут.
Как всё устроено
Python 3.12, PostgreSQL, Docker Compose, четыре простых воркера (сбор, публикация, входящие, дайджест), которые общаются только через базу. Никаких очередей сообщений и прочего — для такой задачи хватает. Крутится на обычном VPS.
Стек вакансии определяю по заголовку через словарь синонимов, плюс отсекаю не-IT профессии и фильтрую по гео. Теги источников пришлось выкинуть: однажды прилетел врач с тегом python. Одна вакансия Python уходит и в общий канал, и в питонячий.
В карточке — компания, должность, вилка если есть, формат, грейд, стек, иногда коротко задачи и требования, и обязательно ссылка на оригинал. Чужой текст целиком не копирую, откликаться — на исходной площадке.
ИИ внутри нет. Вообще. Никакого переписывания вакансий нейросетью — я специально от этого отказался, чтобы не искажать смысл. А вот сам код почти весь написан вместе с агентами Cursor: 21 коммит из 23, примерно за пять дней в августе.
Где споткнулся
Частоту публикации крутил целый день: раз в час казалось мало, потом каждые 10 минут, 5, и в итоге каждую минуту по две вакансии с 8 до 23 по Москве — пока разбираю накопившийся склад и наполняю стековые каналы. Потом сделаю реже.
Очередь переделывал несколько раз. В итоге — потолок на 270 штук, публикация от старых к новым, и всё старше трёх дней просто не публикуется: вакансия в Телеграме живёт день-три, дальше она никому не нужна.
HH резал сборщик через DDoS-Guard из-за короткого User-Agent, у Jobicy и NoFluffJobs свои лимиты. Ещё дубликатов между источниками пока не ловлю — одна и та же вакансия с HH и Хабра может прийти дважды.
Что дальше
Статистика просмотров, недельный дайджест зарплатных вилок и бот с подписками в духе «/filter python remote». Сайта, резюме и ручной модерации пока нет и в ближайшее время не будет.
Каналы совсем свежие, подписчиков пока немного, поэтому любая обратная связь очень кстати: каких источников не хватает, что мешает в карточке, какие стеки добавить? Посмотреть можно здесь: https://t.me/jobs_pipe