Правда про парсинг сайтов, или все интернет-магазины делают это

В этой статье я постараюсь наиболее просто рассказать о парсинге сайтов и его основных нюансах. Моя компания занимается парсингом сайтов уже более трёх лет и ежедневно мы парсим около 300 сайтов.

Я обычно открыто пишу об этом в соц.сетях, что вызывает бурные обсуждения и неодобрение со стороны пользователей. Забавно после прочтения комментариев заглядывать к себе в личку и читать сообщения с предложениями о сотрудничестве от тех же людей, кто только что осуждал нас в комментариях под постом :) Вся статья будет в формате наиболее часто задаваемых вопросов и честных ответов.

1. Что такое парсинг?

По определению парсинг – это автоматизированный сбор неструктурированной информации, ее преобразование и выдача в структурированном виде. Довольно безобидно, не правда ли? Однако, общество относится к этому довольно своеобразно, как к подростковой мастурбации – многие этим занимались :), но никто об этом не говорит публично. Более того, парсинг часто осуждается и считается чем-то слегка постыдным. Причина как и в большинстве подобных случаев, в неправильном восприятии.

Раскрою вам тайну: парсингом занимаются все… По крайней мере, все крупные игроки на рынке. Пару лет назад в одной из статей в Ведомостях представители “М-видео”, “Связного” и “Ситилинка” даже в открытую говорили об этом в ответ на интерес ФАС (см. https://www.vedomosti.ru/business/articles/2017/09/07/732731-robotov-sgovore).

2. Для чего парсинг нужен?

В первую очередь, целью парсинга является ценовая "разведка", ассортиментный анализ, отслеживание товарных акций. “Кто, что, за сколько и в каких количествах продаёт?” – основные вопросы, на которые парсинг должен ответить. Если говорить более подробно, то парсинг ассортимента конкурентов или того же Яндекс.Маркет отвечает на первые три вопроса.

С оборотом товара несколько сложней. Однако, такие компании как “Wildberries”, “Lamoda“ и Леруа Мерлен, открыто предоставляют информацию об ежедневных объемах продаж (заказах) или остатках товара, на основе которой не сложно составить общее представлении о продажах (часто слышу мнение, мол эти данные могут искажаться намеренно - возможно, а возможно и нет). Смотрим, сколько было товара на складе сегодня, завтра, послезавтра и так в течении месяца и вот уже готов график и динамика изменения количества по позиции составлена (оборачиваемость товара фактически). Чем выше динамика, тем больше оборот.

Потенциально возможный способ узнать оборачиваемость товаров с помощью ежедневного анализа остатков сайта Леруа Мерлен

Можно, конечно, сослаться на перемещение товаров между точками. Но суммарно, если брать, например, Москву — то число не сильно изменится, а в существенные передвижения товара по регионам верится с трудом.

С объемами продаж ситуация аналогична. Есть, конечно, компании, которые публикуют информацию в виде много/мало, но даже с этим можно работать, и самые продаваемые позиции легко отслеживаются. Особенно, если отсечь дешёвые позиции и сфокусироваться исключительно на тех, что представляют наибольшую ценность. По крайней мере, мы такой анализ делали – интересно получалось.

Во-вторых, парсинг используется для получения контента. Здесь уже могут иметь место истории в стиле “правовых оттенков серого”. Многие зацикливаются на том, что парсинг – это именно воровство контента, хотя это совершенно не так. Парсинг – это всего лишь автоматизированный сбор информации, не более того. Например, парсинг фотографий, особенно с “водяными знаками” – это чистой воды воровство контента и нарушение авторских прав. Потому таким обычно не занимаются (мы в своей работе ограничиваемся сбором ссылок на изображения, не более того.... ну иногда просят посчитать количество фотографий, отследить наличие видео на товар и дать ссылку и т.п.).

Касательно сбора контента, интересней ситуация с описаниями товаров. Недавно нам поступил заказ на сбор данных по 50 сайтам крупных онлайн-аптек. Помимо информации об ассортименте и цене, нас попросили “спарсить” описание лекарственных аппаратов – то самое, что вложено в каждую пачку и является т.н. фактической информацией, т.е. маловероятно попадает под закон о защите авторских прав. В результате вместо набора инструкций вручную, заказчикам останется лишь внести небольшие корректировки в шаблоны инструкций, и всё – контент для сайта готов. Но да, могут быть и авторские описания лекарств, которые заверены у нотариуса и сделаны специально как своего рода ловушки для воришек контента :).

Рассмотрим также сбор описания книг, например, с ОЗОН.РУ или Лабиринт.ру. Здесь уже ситуация не так однозначна с правовой точки зрения. С одной стороны, использование такого описания может нарушать авторское право, особенно если описание каждой карточки с товаром было нотариально заверено (в чём я сильно сомневаюсь — ведь может и не быть заверено, исключение — небольшие ресурсы, которые хотят затаскать по судам воров контента). В любом случае, в данной ситуации придётся сильно "попотеть", чтобы доказать уникальность этого описания. Некоторые клиенты идут еще дальше - подключают синонимайзеры, которые "на лету" меняют (хорошо или плохо) слова в описании, сохраняя общий смысл.

Ещё одно из применений парсинга довольно оригинально – “самопарсинг”. Здесь преследуется несколько целей. Для начала – это отслеживание того, что происходит с наполнением сайта: где битые ссылки, где описания не хватает, дублирование товаров, отсутствие иллюстраций и т.д. Полчаса работы парсера — и вот у тебя готовая таблица со всеми категориями и данными. Удобно! “Самопарсинг” можно использовать и для того, чтобы сравнить остатки на сайте со своими складскими остатками (есть и такие заказчики, отслеживают сбои выгрузок на сайт). Ещё одно применение “самопарсинга”, с которым мы столкнулись в работе — это структурирование данных с сайта для выгрузки их на Яндекс Маркет. Ребятам так проще было сделать, чем вручную этим заниматься.

Также парсятся объявления, например, на ЦИАН-е, Авито и т.д. Цели тут могут быть как перепродажи баз риелторам или туроператорам, так и откровенный телефонный спам, ретаргетинг и т.п. В случае с Авито это особенно явно, т.к. сразу составляется таблица с телефонами пользователей (несмотря на то, что Авито подменяет телефоны пользователей для защиты и публикует их в виде изображения, от поступающих звонков все равно никуда не уйти).

3) “Что в резюме тебе моем?” или парсинг HH.RU

В последнее время стали актуальны запросы на парсинг Headhunter-а. Правда сначала люди просят продать им “базу Хедхантера”. Но, когда уже понимают, что никакой базы у нас нет и быть не может, мы переходим к разговору о парсинге в их профиле (“под паролем”). Это своеобразное направление парсинга и, честно говоря, нам оно не особо интересно, однако рассказать о нём стоит.

В чём тонкость? Клиент предоставляет доступ к своему аккаунту и ставит задачу по сбору данных под свои нужды. Т.е. он уже оплатил доступ к базе HH и, подписывая с нами договор, ставит нам задачу на автоматический сбор информации в его интересах и под его аккаунтом, что находится полностью под его ответственностью. В случае, если HH зафиксирует ненормальную активность, аккаунт будет заблокирован. Потому мы стараемся как можно лучше сымитировать человеческую деятельность при сборе данных.

Если бы HH (насколько знаю “успешно” проваливший свои эксперименты с API) сам предоставлял (продавал) данные в табличке по регионам, скажем, контакты всех работающих в данный момент директоров по маркетингу в Москве, к нам бы никто и не приходил. А пока это приходится делать человеку “ручками”, к нам идут. Ведь, когда у тебя есть такая таблица, заниматься рекламным спамом – холодными звонками намного удобнее.

Подчеркну ещё раз, у нас нет базы HH, мы просто собираем данные для каждого клиента под его нужды, его аккаунтом и его ответственностью. И нарушение договора оферты не связано с использованием сайта парсящей стороной. Подписывая с нами договор, клиент получает за прогон контакты порядка 450-ти ЛПР-ов, которые мы положим к нему на сервер, и дальше уже его отдел продаж сам решит, что с этим делать. Эх, мы бы тоже “спамили”, если б у нас была такая база. Шучу :)

Хотя, лично я считаю, что нет перспектив в парсинге под паролем. А вот парсинг открытых ресурсов – это другое дело. Ты один раз настроил всё и парсишь постоянно, потом перепродаешь доступ ко всем собранным данным. Это более перспективно.

4) Парсинг вообще законен?

В российском законодательстве нет статьи, запрещающей парсинг. Запрещен взлом, DDOS, воровство авторского контента, а парсинг – это ни то, ни другое, не третье и, соответственно, он не запрещен.

Некоторые люди воспринимают парсинг как DDOS-атаку и относятся к нему с сомнением. Однако, это совершенно разные вещи, и при парсинге мы, напротив, стараемся как можно меньше нагружать целевой сайт и не навредить бизнесу. Как в случае со здоровым паразитизмом – мы не хотим, чтобы бизнес "отбросил копыта", иначе нам не на чем будет “паразитировать”.

Обычно просят парсить крупные сайты, из топа 300-500 сайтов России. На таких сайтах посещаемость, как правило, несколько миллионов в месяц, может даже и больше. И на таком фоне парсинг одного товара в секунду или в две практически незаметен (нет смысла чаще парсить, 1-2 секунды не товар - это оптимальная скорость для крупных сайтов). Соответственно, и намека на DDOS-атаку в наших действиях нет. Очень редко люди просят чтобы мы обновляли, например, весь сайт БЕРУ.РУ за сутки - это, скажем прямо, перебор и слишком высокая нагрузка на сайт... обычно занимает 3-4 дня.

Напомню, что парсинг – это лишь сбор того, что мы можем своими глазами увидеть на сайте и скопировать к себе руками. Таким образом, под статью об авторском праве могут попасть лишь действия с уже собранной информацией, т.е. действия самого заказчика. Просто человек это делает долго медленно и с ошибками, а парсер – быстро и не ошибается. Что же делать, когда речь касается сбора данных с AliExpress или Wildberies? Человеку просто не под силу такая задача, и парсинг – единственный выход.

Правда, недавно попросили парсить сайт государственной организации – суда, если не ошибаюсь. Там в открытом доступе вся информация, но мы (на всякий случай) отказались. :)

5) “Вы чего нас парсите, мы же заказчик” или в чем разница между парсингом и мониторингом цен?

Мониторинг цен – одно из наиболее востребованных направлений применения парсинга. Но с ним не всё так просто – поработать в данном случае придётся не только нам, но и самому клиенту.

При заказе на мониторинг цен мы сразу предупреждаем, что будем парсить не только конкурентов, но и заказчика. Это необходимо для получения схожих таблиц с товарами и ценами, которые мы сможем обновлять автоматически. Однако, сами по себе такие данные не несут ценность, пока они не связаны между собой (так называемый матчинг товаров). Некоторые позиции с разных сайтов мы можем сопоставить автоматически, но, к сожалению, на данный момент “машины” еще не так хороши, чтобы сделать это гарантированно без ошибок, и лучше человека (например, работающего удаленно на полставки сотрудника из регионов) это никто не сделает.

Если бы все выводили штрих-код на сайте, то вообще было бы замечательно, и мы могли бы делать все “связки” автоматически. Но, к сожалению, так это не так, и даже названия продуктов разные компании пишут по-разному.

Хорошо, что такую работу необходимо провести единожды, а потом периодически перепроверять и вносить небольшие корректировки, если требуется. При наличии связок мы уже можем обновлять такие таблицы автоматически. К тому же, обычно людям не требуется мониторить цены на всё: есть условно 3-5 тысяч позиций, которые в топе, а мелочь не представляет интерес. И оператор из региона легко сможет выполнять такую работу за деньги порядка 10 000 рублей в месяц.

Самый удачный и правильный кейс в данном случае, на мой взгляд, загружать полученный прайс лист конкурентов сразу к себе в 1С-ку (или другую ERP систему) и там уже выполнять сопоставление. Так мониторинг цен легче всего внедрить в ежедневную деятельность своих аналитиков. А без анализа такой парсинг никому и не нужен.

6) Как защититься от парсинга?

Да никак. И стоит ли вообще защищаться от парсинга? Я бы не стал. Работающей 100% защиты всё равно нет (точнее, мы еще не встречали), так что особого смысла пытаться защититься я не вижу. Лучшая защита от парсинга – это просто выложить готовую таблицу на сайте и написать – берите отсюда, обновляем раз в пару дней. Если люди так будут делать, то у нас хлеба не будет.

К слову говоря, недавно созванивались с IT директором крупной сети – они хотели протестировать свою защиту от парсинга. Я его напрямую спросил, почему они так не делают. Как технический специалист он прекрасно понимает, что никакая защита от парсинга не спасёт, лишь отпугнет дилетантов; а вот компании, которые зарабатывают на парсинге, вполне могут позволить себе исследовательскую деятельность в этом направлении – долго и мучительно разбираться в новой защите, и в итоге ее обойти...

Как правило, все используют однотипные защиты, и такое исследование пригодится еще не раз. Так вот, оказалось, что отдел маркетинга не готов к такому: “Зачем нам упрощать жизнь конкурентам?” Казалось бы, логично, но… В результате компания будет тратить деньги на защиту, которая не поможет, а паразитная нагрузка на сайт – останется. Хотя, справедливости ради, стоит отметить, что от "студентов" изучающих python и парсящих все что "шевелится" вполне может помочь.

Кстати, и “Яндекс”, и “Google” занимаются парсингом: они заходят на сайт и индексируют его – собирают информацию. Только все хотят, чтобы “Яндекс” и “Google” индексировали их сайты по понятным причинам, и никто не хочет, чтобы их парсили :)

7) “Я тут бесплатно поискал...” или история про авиабилеты

Однажды к нам обратились с интересным заказом на тестовый парсинг. Компания занимается авиабилетами и им были интересны цены конкурентов на пару самых популярных направлений. Задача оказалась нетривиальной, т.к. пришлось повозиться с подстановкой и сопоставлением рейсов. Занимательным оказалось то, что цены у “Onetwotrip”, “Aviasales” и “Skyscanner” на одни и те же рейсы немного отличаются (разброс около 5-7%).

Проект показался мне очень интересным, и я выложил пост об этом в соц.сетях. К моему удивлению дискуссия под постом оказалась довольно агрессивной, и я не сразу понял почему. Затем мне написал гендиректор одной из компаний лидера рынка продажи билетов в России, и ситуация прояснилась. Выяснилось, что запросы о ценах на билеты для таких компаний платные, т.к. они берут информацию с международных платных сервисов. И, помимо паразитной нагрузки, парсинг представляет для них еще и финансовую.

В любом случае, никто же с вас не требует оплаты, если вы подыскиваете себе лично билеты на этих сервисах, а запросов обычные люди тоже делают немало пока перебирают разные варианты... В общем тут такая бизнес-дилемма :)

8) “Рецепты шеф-парсера”. или как мы работаем?

Думаю, для большего понимания всех аспектов парсинга стоит приоткрыть завесу нашей “внутренней кухни”.

Всё начинается с заказа. Иногда клиенты связываются с нами сами, а иногда звоним мы. Особенно удачно получается с заказами на мониторинг цен. В этом случае нам приходится парсить не только конкурентов, но и самого заказчика. Поэтому мы порой звоним тем, кого так или иначе парсим, и в открытую об этом говорим, предлагая свои услуги – работа ведь нами уже и так выполняется. Сначала реакция очень негативная, но проходит пара дней, эмоции спадают, и заказчики сами перезванивают, говоря: “Чёрт с ним! Кого вы ещё парсите?”

Парсинг у ОЧЕНЬ многих владельцев посещаемых ресурсов вызывает эмоции. Сначала негативные, ведь он схож с подглядыванием в замочную скважину. Затем перерастает в интерес, а потом и в осознание необходимости. Бизнесмены – умные люди. Когда эмоции сходят на нет и остаётся холодный расчёт, всегда возникает вопрос: “А, может, мы где-то недоработали, и нам тоже это нужно?”

Благодаря этим эмоциям мы довольно активно растём и развиваемся. На данный момент мы парсим порядка 300 сайтов в день. Обычно у нас заказывают по 8-15 сайтов, а парсинг одного стоит от 5 до 9 тысяч рублей в месяц, в зависимости от сложности подключения, ведь каждый сайт приходится подключать индивидуально (уходит где-то 4-5 часов на ресурс). Сложность заключается в том, что некоторые защищаются. Борьба идёт не столько с парсингом, сколько с некой паразитной нагрузкой, которая не приносит им прибыль, но иногда приходится повозиться.

В любом случае ВСЁ ПАРСИТСЯ, даже если цена на товар публикуется на сайте как картинка :) Желающим попробовать свои силы в парсинге, рекомендую потренироваться на сайте "Аптеки Столички" и спарсить цены: https://stolichki.ru/present/27694/

Интернет- магазин сети аптек "Столички" - цены пишутся внутренним шрифтом и чтобы их спарсить одним из решений будет формирование картинки и ее распознавание. Мы так делаем по крайне мере.

Собранные данные передаются клиенту. Обычно мы размещаем их на собственном облаке, постоянно обновляя, и предоставляем клиенту доступ к ним по API. Если с данными вдруг становится что-то не так (а это бывает редко – раз в 3-4 месяца), нам сразу звонят-пишут, и мы стараемся устранить проблему как можно быстрее. Такие сбои возникают при установки новой защиты или блокировки, а решаются с помощью исследований и прокси соответственно. В другом случае, когда на сайте что-то меняется, бот просто перестает понимать, где что находится, и нашему программисту приходится заново его настраивать. Но всё решаемо, и заказчики обычно относятся к таким проблемам с пониманием.

Отмечу, что в нашем деле личность заказчика никогда не разглашается – мы относимся к этому достаточно трепетно, да и пункты в договоре о неразглашении никто не отменял. Хоть в парсинге и нет ничего предосудительного, но многие стесняются.

Собственно, подводя итог- если вы растущий бизнес, торгуете широко распространенными товарами или работаете в быстро меняющейся среде (такой, как найм персонала или предложение специфических услуг для определенной категории авторов объявлений, резюме и содержимого других“досок объявлений” в Интернете), то рано или поздно столкнетесь с парсингом (как заказчик или как мишень).

0
36 комментариев
Написать комментарий...
hh.ru

Максим, обращаем внимание, что описанный в вашей колонке кейс с парсингом сайта hh.ru, является прямым нарушением пункта 4.2.15 условий использования нашего сайта. Мы запрещаем использовать плагины для парсинга и копирования данных. Нам лестно, что вы совершили своеобразную «явку с повинной» и вынуждены в очередной раз предупредить ваших «заказчиков» о неизбежной блокировки в случае обнаружения парсинга.

Ответить
Развернуть ветку
Максим Кульгин
Автор

Я знаю коллеги :) не обижайтесь, мы кстати честно сразу всех предупреждаем, что они действуют на свой страх и риск. А мы лишь помогаем собрать данные. Но право - дайте доступ к АПИ - люди ведь размещают такие заказы т.к. текущий формат просто не удобен!

Ответить
Развернуть ветку
hh.ru

Доступ к нашему API давно открыт https://dev.hh.ru/ - welcome!

Ответить
Развернуть ветку
Максим Кульгин
Автор

Но ведь с помощью Вашего АПИ нельзя вытащить 500 резюме по условиям, разве не так? Ведь в чем суть обращений к нам? Нанимают операторов, дабы они ручками собирали 500 резюме в день, сводили в табличку и отдавали на обработку. Вот мы и занимаемся умственным онанизмом обходя вашу защиту, чтобы упростить людям жизнь. Дайте им возможность купить доступ по прайсу, используя АПИ послать поисковый запрос и получить в xml данные соискателей, порциями по 500 в сутки.

Ответить
Развернуть ветку
hh.ru

Функционал, доступный в API, пока не покрывает всех возможностей основного сайта, но мы постоянно работаем над увеличением этих возможностей. Отметим, что уже сейчас в нашем API доступны все основные виды работ HR-менеджеров с резюме и вакансиями: https://github.com/hhru/api/blob/master/README.md

Ответить
Развернуть ветку
Алексей Сундуков

Ну вот пока не будут покрывать, люди так и будут заказывать пирсинг. Потому что на выходе заказчик все равно получит требуемое и экономически выгодно отдать это роботу, а не человеку который делает это дольше, с ошибками да еще и болеет.

Ответить
Развернуть ветку
Илья Черепинец

Скажу по опыту работы с интернет-магазинами.
Парсят информацию пока только единицы, а когда говоришь об этом смотрят как ненормального.
Не все еще дошли даже до импорта и экспорта товаров, даже в своем магазине.

Ответить
Развернуть ветку
Максим Кульгин
Автор

мы наблюдаем уход сейчас от парсинга Интернет- магазинов в пользу ресурсов, таких как ЦИАН, АВИТО, АВТО.РУ и т.п. А вот Яндекс.Маркет - не популярен.

Ответить
Развернуть ветку
Andrew Sheshunov

Странно конечно почему еденицы. Ведь это экономит время, как минимум. Особенно когда нужно залить товары на сайт, парсишь конукрента и импортируешь себе. (при том не нарушая авторские права)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Анатолий Б.

Выглядит неплохо. Доступ есть?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Юрий Макарычев

пилим интернет магазин, нет сервисов где по штрих-коду товара можно всю инфу о нем получить? по ссылке – только по названию

Ответить
Развернуть ветку
Денис Кравцов

Увидел заголовок про парсинг и сразу понял, что ноги растут из нотиссимуса :))

Ответить
Развернуть ветку
Максим Кульгин
Автор

Он родимый 

Ответить
Развернуть ветку
Irvin Goodspeed

Парсят много и разные сайты. Посмотрите на сервисы СЛИЗА, клоудпарсер, турбопарсер. Эти сервисы обслуживают тысячи клиентов и получают деньги в основном с владельцев интернет-магазинов.

Ответить
Развернуть ветку
Артём Прокопенко

Здесь другое. Владельцы магазинов просто не могут выдать товары для своих пользователей в социальные сети, где последние эти товары продают. Т.е. они заказывают парсинг собственных магазинов, а не парсинг конкурента. Но это в худшем случае парсинг, обычно это предоставленная xml для последующей выдачи товаров в соцсети.

Ответить
Развернуть ветку
Irvin Goodspeed

А зачем владельцам парсить собственные магазины?

Ответить
Развернуть ветку
Артём Прокопенко

как правило это магазины двух цен или оптовые. им важно, чтобы товарные описания попали в среду, где продавцу удобно с ним работать. В соцсеть, например. Если не умеет отдать файлом, значит вариант один - парсить)

Ответить
Развернуть ветку
Irvin Goodspeed

Это вы описали работу парсеров о которых я писал выше. Охват аудитории у них выше и более понятное применение. У вас очень все сложно.

Ответить
Развернуть ветку
Максим Кульгин
Автор

сравнить товары в 1С и на сайте. Такой кейс есть у нас. тестируют видимо выгрузку корректность.

Ответить
Развернуть ветку
VVV

Тоже занимаемся парсингом сайтов, хоть и с другой целью и аудиторией (не конкуренты).

На счет защиты - немного не соглашусь. Защититься от парсинга можно. Грубо говоря, можно сделать так, что вы не спарсите Беру за 3-4 дня (а гораздо дольше). Просто оно им не надо.
Как правило - это будет битва бюджетов. И каждый раз защита будет обходиться, совершенствоваться и снова обходиться и так до бесконечности.

Из того, что мне лично понравилось: PerimeterX.
Раньше обходилось банальным "хождением" не по порядку, а периодическим заходом на совершенно другие страницы вместо товаров. Сейчас она так просто не обходится.
Можно конечно решать каптчу и все такое, но тут мы снова возвращаемся к бюджетам и целесообразности решений.

А самая эффективная на мой взгляд "защита" - это глючный сайт, который просто падает от множетсва запросов, даже если делать 1 запрос в 3-4 секунды. Я не представляю как такие сайты продают, но они есть.

Ответить
Развернуть ветку
Алексей Сундуков

Нельзя. Без вариантов. А кривость... Партия даже сайты совместных покупок. Мега кривые и то все решаемо.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Максим Кульгин
Автор

на самом деле есть защиты, которые здорово усложняют жизнь. Но они тоже обходятся.

Ответить
Развернуть ветку
Михаил Русецкий

Подростковой, ага

Ответить
Развернуть ветку
Владислав Колесников

А если не тайна, что используете?) Scrapy?

Ответить
Развернуть ветку
Максим Кульгин
Автор

нет, у нас свой движок на .net

Ответить
Развернуть ветку
Sergey Deynego

Scrapy хорош. В умелых руках. И при правильной организации работы.

Ответить
Развернуть ветку
Рождественский Алексей

Насколько большой у вас пул IP? Как решаете проблему с каптчей? 

Ответить
Развернуть ветку
Максим Кульгин
Автор

прокси в ротации

Ответить
Развернуть ветку
Юрий Макарычев

посоветуйте сервис где можно взять по штрихкоду товара всю информацию о нём и характеристики? на яндекс маркете такая возможность раньше была купив апи доступ через "текстовый поиск" но они его закрыли. на маркете до сих пор товар по штрихкоду ищет, но в теле страницы товара штрихкод не содержится

Ответить
Развернуть ветку
Максим Кульгин
Автор

я вот кстати не знаю такого сервиса. но вроде бы слышал есть общемировые базы товаров

Ответить
Развернуть ветку
Ogfrgfkar

..."По определению парсинг – это автоматизированный сбор неструктурированной информации" — почему неструктурированной, разве в интернет магазинах товар не разложен по "полочкам" категориям и т.д?!

Ответить
Развернуть ветку
Максим Кульгин
Автор

html это не совсем структурированная информация.

Ответить
Развернуть ветку
Ogfrgfkar

Я думаю автор имел ввиду не html текст, а данные и их структуру.

Ответить
Развернуть ветку
stivstivsti

Скажите, вы поддерживаете пожизненное правление путина ?

Ответить
Развернуть ветку
33 комментария
Раскрывать всегда