По каким площадкам мониторить цены конкурентов? Особенности и подводные камни

Всем привет. Меня зовут Алексей Богомолов, я основатель и разработчик сервиса мониторинга цен конкурентов parser.market.

Мониторинг конкурентов — неотъемлемая часть любого бизнеса, и начинается он зачастую до старта самого бизнеса. Со временем компании приходят к необходимости системного подхода, выстраивания процессов, помогающих принимать решения по корректировке цен.

Где и как мониторить конкурентов? Если Вы сами торгуете на маркетплейсах — ответ очевиден: на площадках вашего присутствия, либо на наиболее важной из них. Если у Вас офлайн магазин или Вы по каким-то причинам не работаете с маркетплейсами — ответ уже не столь очевиден.
Хотелось бы поделиться особенностями разных торговых площадок с точки зрения их мониторинга.

Яндекс.маркет, Озон, Wildberries — безусловные лидеры электронной торговли в России и не только.

Общее свойство этих площадок — сложная система платежей, штрафов, комиссий за продвижение и т.п. Как следствие — продавцы иногда пытаются компенсировать эти затраты и цена в магазине оказывается иногда ниже, чем у того же магазина, например, на Яндекс-маркете.

Практически на каждом из маркетплейсов (не только из большой тройки) при постановке задачи парсеру потребуется указать ссылки на карточки товаров. Сложность в том, что для качественного подбора ссылок требуется человек, разбирающийся в товаре и в рынке. Впрочем, существует аутсорс, который специализируется на подборе таких ссылок. Мы таких услуг не предлагаем, но, пытаемся, где возможно, облегчить этот процесс.

Особенность этого маркетпейса — группировка предложений по карточкам товара (мэтчинг/matching). Это очень сложная и трудоемкая работа, которая стоит немалых сил и денег. С этой задачей приходится иметь дело и компании при обработке результатов парсинга. К чести яндекс-маркета, с задачей он справляется, на мой взгляд, настолько хорошо, насколько с ней вообще можно справиться.

Если у Вас есть список карточек товара по вашим товарным позициям — дело практически в шляпе, но есть нюансы.

Встречаются ситуации, когда одному и тому же товару соответствуют две или более карточек. Или, наоборот — в одной карточке собраны товары с разными свойствами (это может быть расфасовка, объем памяти устройства и другие).

Для некоторых категорий товаров если есть хотя бы одно предложение FBY — Яндекс-маркет скрывает предложения по остальным моделям. Эта проблема на нашем сервисе в свое время была решена, но, решение уже не очень актуально, поскольку большинство продавцов по этим категориям ожидаемо перешли на модель FBY.

По таким ситуациям есть решения, позволяющие улучшить результаты при следующей обработке задачи. При этом требуется участие заказчика дополнительная доработка ссылок в задании для парсера.

Наш сервис предлагает алгоритм поиска карточек по названию. Попадание, конечно, не стопроцентное, качество результата зависит от качества запроса (названия в вашем прайсе) . Но, в основном, получилось неплохо. Поиск выполняется при первом парсинге, далее результаты запоминаются для ускорения обработки следующих задач. В отличие от коллег, в отчете можно посмотреть результаты, которые алгоритм поставил на вторую или третью позицию, чтобы в следующий раз скорректировать или обозначить две-три карточки.

Ориентироваться на результаты поисковой выдачи яндекс-маркета на представляется возможным, несмотря на то, что в качестве поисковых алгоритмов самого яндекса сомневаться не приходится. Причина проста — поиск на маркете уже давно не поисковик, а продавец, и как всякий хороший продавец, он практически никогда не говорит покупателю "у меня этого нет".

По структуре они схожи, как таковой явной карточки товара на этих маркетплейсах нет. Вернее, она есть, но, где-то глубоко внутри, проявляясь для посетителя блоками "предложения других продавцов" в некоторых карточках товара.

Поэтому, стандартный вариант — явное указание парсеру ссылок на карточки конкурентов. Это трудоемкая ручная работа, ее можно немного упростить, единожды запустив парсинг по поисковым запросам и сравнивая свои названия товаров с результатами поиска по этим названиям в готовой таблице. В этой же таблице будут ссылки на эти карточки, позволяющие проверить сомнительные результаты. Как ни странно, столь простое и очевидное решение применяется не так уж часто (я тоже мониторю конкурентов, но — вручную, подходящего сервиса в природе не существует).

Тем не менее, для некоторых товарных ниш применим парсинг поисковой выдачи, которую можно сузить какими-то дополнительными ограничениями по категории товара и/или свойствам.
При этом следует помнить, что Вы будете балансировать между чистотой поисковой выдачи (нет несоответствующих запросу результатов) и полнотой выдачи (нет подходящих карточек, которые не попали в поиск).

Конечно, парсинг результатов поисковой выдачи предполагает зависимость от качества собственно поисковика маркетплейса. По моему субъективному ощущению, поиск озона гораздо более развит и адекватен, чем поиск wildberries, хотя и отстает от поиска на Яндекс.маркет. При этом у Озона есть свои особенности.

Фобии алгоритмов поиска OZON

- если ваш запрос в длину более, чем 100 символов - Озон будет выдавать ошибку, повторять запросы бессмысленно - ошибка никуда не уйдет

- на запрос "PYTHON 1000" озон сообщает Вам о блокировке. Что думают об этом продавцы спининговых катушек с таким артикулом - доподлинно неизвестно. То же, если цифра более 1000.

Есть еще неплохой вариант - парсить цены вашего конкурента по всему его ассортименту, после чего уже на своей стороне сопоставить id его карточек со своими артикулами. Правда, есть ограничение по количеству результатов выдачи (10000 у Wildberries, 10002 у OZON). Эти ограничения почти всегда можно обойти фильтрами.

Озон также в некоторых случаях ищет по EAN-коду товара. Правда, если продавец не снабдил свою карточку штрих-кодом - в выдачу она не попадет.

Наследственная фишка озона - неплохой поиск книг по ISBN (для книг выпуска 1991 года и позднее)

Неочевидное применение парсера.

В последнее время появился спрос на парсинг собственных карточек товаров на wildberries.

Как бы странно это ни выглядело, логика тут есть. Дело в том, что WB показывает зарегистрированному пользователю цену ниже, чем видит пользователь незарегистрированный (так называемая СПП).
Для чего маркетплейс показывает покупателю цену, по которой он технически не сможет купить - загадка.

На этом Wildberries не остановился - помимо согласованных скидок он добавляет скидки от себя, так что продавец точно не знает, почем продается его товар на Wildberries.

При этом сами маркетплейсы парсят друг друга с размахом, недоступным отдельным фрилансерам и специализированным сервисам. По результатам этого процесса Озон формирует индекс цены (насколько цена товара на озоне превышает цену этого же товара на других маркетплейсах) и, если этот индекс превышает какое-то допустимое значение - ваша карточка товара пессимизируется в выдаче, то есть вероятность, что ваше предложение покажется покупателю сильно уменьшается.

В качестве выхода из положения особо сообразительные продавцы парсят собственные карточки на wildberries, чтобы вовремя отреагировать и снизить цену на озоне.

Живой пример: компания парсит собственные карточки раз в 10 минут(!). Для этого мы применяем очень дешевый метод, который обходится компании с ассортиментом около 1000 товаров менее чем в 10000 рублей в месяц.

Технически разные, но идеологически и структурно схожие площадки. На них также есть явные, видимые посетителю карточки товара. Сбермегамаркет эту черту унаследовал от Яндекс маркета.

В отличие от маркетплейсов большой тройки эти площадки очевидно более лояльны к продавцам в смысле разнообразных сопутствующих выплат и цены продавцов на них соответствуют ценам в интернет-магазинах, что делает их интересными для коррекции ценовой стратегии на собственных сайтах и офлайн точках продаж.

У обеих площадок неплохой поисковик, почти всегда товар можно найти по штрихкоду, что существенно облегчает работу по постановке задачи парсеру. В настоящее время реализован только парсинг по поисковым запросам, забирается первая карточка товара и отдельные предложения перед ней, большего пока и не нужно.

Price.ru - довольно старая, но, относительно небольшая площадка. Как-то даже обсуждалась задача спарсить его целиком. Принципиально решение даже было найдено, но в прикладном смысле для конкретной компании оно вряд ли интересно.

Весьма интересная площадка для мониторинга цен, на ней присутствуют предложения продавцов, которые ушли с яндекс-маркета, вроде DNS или Citilink, а также предложения с других маркетплейсов с прямыми ссылками на магазин или, например, карточку на Озоне. Сам продавец заявил свою карточку в Яндекс-товары или это результат работы парсеров Яндекса - достоверно неизвестно.

Площадка довольно экзотическая, других открытых предложений по парсингу цен на ней пока не встречалось.

Не самый плохой вариант, если у Вас есть любимые конкуренты, к которым постоянно нужно присматриваться. Практически всегда не обойтись без прямого сбора ссылок на товарные карточки. Это, конечно, трудоемкая затея, но, если товарная ниша не слишком сложна для непрофессионала, можно привлекать аутсорсеров.

Для простых случаев есть относительно простое решение, устроенное по принципу коробочных парсеров, позволяющее собирать по ссылкам название и цену.
Если вариант более сложный, присутствует какая-то логика или сайт применяет средства защиты от парсинга - потребуется писать отдельный парсер для каждого сайта, что сопряжено с разовыми начальными затратами. Но, структура страниц интернет-магазинов меняется не так часто, как у маркетплейсов, поэтому периодические затраты на доработку парсеров, как правило, невелики.

В отличие от книги Григория Остера, вредным этот совет будет не для Вас.

При построении системы мониторинга рынка лучше разделить собственно сбор данных и обработку данных.

Обработка и аналитика должны осуществляться внутри компании. Так Вы сможете пользоваться данными из различных источников, будь то сервисы парсинга (разные), данные из сервисов офлайн-мониторинга, или программ обработки регулярно доступных прайс-листов поставщиков и/или конкурентов.
К тому же, логика принятия коммерческих решений (изменения цен) будет требовать постоянной модернизации в зависимости от текущей ситуации и неспециализированная сторонняя команда не всегда может поспевать за вашими потребностями.

Другими вредными советами с удовольствием поделюсь по контактам поддержки на parser.market