Вспомнилось что-то... под себя делали решение. Я когда работал у офф поставщика по керамограниту, то стояла задача отслеживать дилеров и чтобы они не демпинговали ценами друг друга). Один раз заплатили за ежедневный парсер ~15-25 тыс. Все. Профит. За 3 года чинили кажется пару сайтов, верстка полетела.
Если и надо сканировать сайты конкурентов, то думаю лучше делать сразу под себя, вешать на vps и настроить авто предупреждалку, что кто-то понизил цены.
Это как самому изобретать велосипед. Тут куча минусов и трудностей может быть:
1. Если сайты сложные, какие-нибудь маркет плейсы, то написание и поддержка парсера будут затратными по времени. 2. Блокировки, капчи и прочие методы защиты. Нужно всё это будет учиться обходить. 3. Стоимость работы, пула прокси, если сайты их блокируют, того же vps будет явно больше, чем просто готовая услуга от сервиса. Самому реализовывать парсинг может быть профитно только, если стоит какая-то специфическая задача, как, например, интеграция с существующей системой. Или если есть условия. Свой сервер, свои программисты. И то для крупных задач, сервисы справятся просто быстрее и дешевле с их отлаженной конвейерной системой.
Да, если сайтов 5-10 и они редко меняются, ассортимент небольшой (или хорошо стандартизированный), магазины не защищаются от парсинга и мало изменяются, не нужен большой ассортимент отчетов - покупка/написания своего решения - вполне может сэкономить деньги на горизонте года. При этом желательно иметь определенный технический уровень.
А если сайтов много и (или) они защищаются или не дай бог парсить агрегаторы, то все - стоимость владения собственным мониторингом (ифраструктура: прокси/капчи + поддержка) резко возрастает, и окупаемость решения, особенно для не очень больших объемов (прайслисты где-то до 100 тысяч позиций ежедневно), становится сомнительной.
Так что под каждую задачу нужно выбирать свой инструмент.
Вспомнилось что-то... под себя делали решение.
Я когда работал у офф поставщика по керамограниту, то стояла задача отслеживать дилеров и чтобы они не демпинговали ценами друг друга). Один раз заплатили за ежедневный парсер ~15-25 тыс. Все. Профит. За 3 года чинили кажется пару сайтов, верстка полетела.
Если и надо сканировать сайты конкурентов, то думаю лучше делать сразу под себя, вешать на vps и настроить авто предупреждалку, что кто-то понизил цены.
Это как самому изобретать велосипед. Тут куча минусов и трудностей может быть:
1. Если сайты сложные, какие-нибудь маркет плейсы, то написание и поддержка парсера будут затратными по времени.
2. Блокировки, капчи и прочие методы защиты. Нужно всё это будет учиться обходить.
3. Стоимость работы, пула прокси, если сайты их блокируют, того же vps будет явно больше, чем просто готовая услуга от сервиса.
Самому реализовывать парсинг может быть профитно только, если стоит какая-то специфическая задача, как, например, интеграция с существующей системой. Или если есть условия. Свой сервер, свои программисты. И то для крупных задач, сервисы справятся просто быстрее и дешевле с их отлаженной конвейерной системой.
Да, если сайтов 5-10 и они редко меняются, ассортимент небольшой (или хорошо стандартизированный), магазины не защищаются от парсинга и мало изменяются, не нужен большой ассортимент отчетов - покупка/написания своего решения - вполне может сэкономить деньги на горизонте года. При этом желательно иметь определенный технический уровень.
А если сайтов много и (или) они защищаются или не дай бог парсить агрегаторы, то все - стоимость владения собственным мониторингом (ифраструктура: прокси/капчи + поддержка) резко возрастает, и окупаемость решения, особенно для не очень больших объемов (прайслисты где-то до 100 тысяч позиций ежедневно), становится сомнительной.
Так что под каждую задачу нужно выбирать свой инструмент.