Firecrawl - реально крутой инструмент для разработчиков, которые хотят быстро и без лишней возни парсить чистые данные с сайтов.

Штука - API-сервис, который берет URL, сканирует страницу или весь сайт и выдает данные в удобном формате: markdown, HTML или структурированный JSON. Все как я хотел сделать :)

Работает с любыми сайтами, даже с теми, где куча динамического контента или хитрые антибот-механизмы.

Проект open-source под лицензией AGPL-3.0, но есть и облачная версия с доп.фичами на firecrawl.dev.

Репозиторий активно дорабатывается: 138 открытых задач, 56 пул-реквестов, 96 контрибьюторов и 40.8k звезд на GitHub.

Пользоваться просто: регистрируешься, берешь API-ключ и запускаешь. Можно спарсить одну страницу, прогнать весь сайт или даже искать по вебу с кастомными настройками.

Есть даже фишки вроде массового скрейпинга тысяч URL или извлечения данных по заданной схеме через LLM.

Облачная версия добавляет действия вроде кликов и скроллов для динамических сайтов. Минус — пока не всё готово для легкого self-hosting, но локально запустить можно :)

Молодцы, опять меня опередили :) лох я чилийский. Долго думаю :(

Подписывайтесь на Telegram Русский ИТ бизнес 👨.