Парсили сайты, парсим и будем парсить. И не нужно этому мешать!
Здравствуйте, меня зовут Максим Кульгин. Моя компания xmldatafeed.com занимается парсингом много лет. На днях мы вернули 16 000 руб. клиенту, так как не смогли парсить весь iherb.com с нужной клиенту скоростью. Проверил и оказалось, что это единичный случа…
5454 показа
20K20K открытий
33 репоста
Интересно доживу ли я до того времени, когда данные из инет магазина / маркет-плейса можно будет получать по API и это станет стандартом как телефон в шапке сайта
Да, это смешная гонка вооружений. В каждом большом магазине сидит команда парсинга и матчинга товаров, а можно просто договориться, и отдавать фид с товарами и ценами. Тем более что все друг друга знают
Есть у меня теория по этому поводу: что сервисы которые парсят маркетплейсы и делают сервисы аналитики, вкладываются не только в парсинг, но и популяризацию бизнеса на маркетплейсах, приводя тем самым новых поставщиков на площадку. Были бы данные открытыми - был бы низкий порог входа - был бы демпинг на рынке - небыло бы таких бюджетов на маркетинг)
У знакомого есть такой API для WB, если найду, обязательно скину Вам
озон дает АПИ :)
Вообще это понятное и очевидное решение:
- парсинг нагружает сайты без необходимости, отжирая ресурсы от обслуживания реальных клиентов
- запрещаем парсинг, а при превышении лимитов выдаем ссылку на API
- стандартизуем API выгрузки, так чтобы можно было делать выгрузку батчами, в том числе по определенному запросу
- стандартизуем API подписок, чтобы можно было получать обновления без необходимости выгружать данные заново
- стандартизуем API синхронизации, чтобы получать измененные данные
И тут у меня встречный вопрос, а ребята которые парсят сайты готовы поделиться прибылью? Вообще-то они все еще расходуют серверные ресурсы, они расходуют небесплатное время разработчиков и при этом строят свой бизнес на данных владельца сайта, получая реальные деньги (не выкладывая данные в условный Open Source).
Есть Headless commerce