Тут нам предлагают заполнить список ссылок на товары магазина. Хорошо, добавим ссылку на запчасть для iphone 6s. Также, добавим ниже ссылку на аналогичный товар на условном сайте - конкуренте. Спустя где — то 10 минут, мне пришло оповещение на почту, что цены были загружены. Я перешел по ссылке, и данная страница уже выглядела вот так:
Вспомнилось что-то... под себя делали решение.
Я когда работал у офф поставщика по керамограниту, то стояла задача отслеживать дилеров и чтобы они не демпинговали ценами друг друга). Один раз заплатили за ежедневный парсер ~15-25 тыс. Все. Профит. За 3 года чинили кажется пару сайтов, верстка полетела.
Если и надо сканировать сайты конкурентов, то думаю лучше делать сразу под себя, вешать на vps и настроить авто предупреждалку, что кто-то понизил цены.
Это как самому изобретать велосипед. Тут куча минусов и трудностей может быть:
1. Если сайты сложные, какие-нибудь маркет плейсы, то написание и поддержка парсера будут затратными по времени.
2. Блокировки, капчи и прочие методы защиты. Нужно всё это будет учиться обходить.
3. Стоимость работы, пула прокси, если сайты их блокируют, того же vps будет явно больше, чем просто готовая услуга от сервиса.
Самому реализовывать парсинг может быть профитно только, если стоит какая-то специфическая задача, как, например, интеграция с существующей системой. Или если есть условия. Свой сервер, свои программисты. И то для крупных задач, сервисы справятся просто быстрее и дешевле с их отлаженной конвейерной системой.
Да, если сайтов 5-10 и они редко меняются, ассортимент небольшой (или хорошо стандартизированный), магазины не защищаются от парсинга и мало изменяются, не нужен большой ассортимент отчетов - покупка/написания своего решения - вполне может сэкономить деньги на горизонте года. При этом желательно иметь определенный технический уровень.
А если сайтов много и (или) они защищаются или не дай бог парсить агрегаторы, то все - стоимость владения собственным мониторингом (ифраструктура: прокси/капчи + поддержка) резко возрастает, и окупаемость решения, особенно для не очень больших объемов (прайслисты где-то до 100 тысяч позиций ежедневно), становится сомнительной.
Так что под каждую задачу нужно выбирать свой инструмент.
Александр!
Нам очень жаль, что вам не пришло письмо с демо-доступом.
Возможно оно попало в спам или вы ранее уже получали доступ на эту электронную почту. К сожалению, в этом случае наша система не отправляет его повторно. Чтобы восстановить доступ, можно воспользоваться кнопкой для восстановления пароля - "забыли пароль?"
Мы первый раз сталкиваемся с такой проблемой и поэтому уже работаем над ее решением. Планируем настроить систему уведомлений.
Спасибо за ваш обзор о Metacommerce. Если наш сервис заинтересовал вас, можете связаться с нами — мы проведем для вас презентацию или пришлем демо-доступ в ручную.
Мне тоже не пришел. ) Пару недель назад отправлял запрос.