Как устроен сервис аналитики маркетплейсов. Парсинг Wildberries/Ozon
Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса аналитики маркетлейсов mpmonster.
Зачем вообще их парсить?
Для продавцов решаются следующие довольно важные задачи
Для тех кто только выходит на маркетплейс или ищет чтобы еще продать
- Узнать что вообще продают
- Узнать что реально продается и с каким выкупом.
- Узнать сезонность продаж
Далее исходя из своих возможностей, подобрать товары с наибольшей вероятностью успеха в продажах.
Для тех кто уже продает
- Раскачка SEO и системный мониторинг позиций карточек в выдаче. Кто выше — тот больше продает.
- Подсказки по карточкам что поправить для SEO.
Для тех кто серьезно продает
- Автоматизация продаж и работы с CRM
- Расчеты, какие товары лучше продавать исходя из спроса, затрат и маржинальности.
Как технически устроен парсинг Wildberries
Опустим работу с официальным api, там все банально. Расскажу про глобальный парсинг.
Когда только планировали сделать парсинг, думал там надо будет в лоб парсить сайт, воевать с антиботами, но оказалось все сильно проще — у Wildberries есть внутреннее API, котором оно себе рисует сайт.
То есть все данные есть в удобном Json.
Немного полазив по сайту нашлись запросы под следующие задачи:
- Список категорий
- Список товаров по категории
- Карточка товара
- Выдача товаров по поисковому запросу (SEO)
- Подсказки для поискового запроса который вы вели
- Динамика цен
- Кажется есть выкупы
- Где-то должны быть все продавцы.
В итоге весь парсинг сводится к перебору этих запросов по категориям товаров и товарам, а результат складывается в ClickHouse.
За ночь собирается/обновляется статистика по всем Wildberries, сейчас уже более 15 000 000 товаров в базе.
Стараемся не жестить и не создавать много нагрузки, минимизировали количество запросов насколько эти запросы позволяют получать данные за раз.
В целом у Wildberries API хорошее, но местами не хватает связей между сущностями.
А что с OZON?
Там нет такого API, поэтому внешняя аналитика по нему сильно хуже. С внутренней все ок.
Что дает с полученная информация?
Там много чего интересного
Что продается на миллионы в каждой категории
Что хорошо продается в последний месяц
Какие новые товары добавили
Мониторинг позиций ваших карточек по целевым поисковым запросам
Как дела у ваших продаж
Стоит ли пилить свой парсер?
Несмотря на то что сам парсинг и аналитика довольно просты, сделать законченный продукт, удобный обычному продавцу, а не технарю — не так уж и просто.
Поэтому если вы продавец, то дешевле воспользоваться готовыми сервисами — 2000/5000/10000 руб в месяц это дешевле постоянной работы с программистом.
Если вы технарь — то попробуйте сами, интересно.
Выводы
Аналитика маркетплейсов в частности Wildberries — довольно тривиальная задача и никакого рокетсайнса там нет.
Select, select и готово.
Скажите спасибо Wildberries, что оно дает себя парсить.
Тем не менее, простейшая аналитика поможет вам подобрать товар для продажи и системно следить за трафиком на ваши карточки.
Все сильно проще чем с сайтом.
Если хотите такую аналитику — контакты сверху.
Дедушка Мороз
Запрети в 2023 году всю эту аналитику е ..ной матери.
Для тех кому денюжку приносит дедушка мороз - аналитика не нужна, да
Если хотите такую аналитику — контакты сверху.Ну такое, даже непонятно в чем конкретное преимущество этого платного сервиса среди таких же бесплатных.
а каких бесплатных? можно примеры, платить не охота))
По сути, получается, вся аналитика построена на цифрах остатков?
Сегодня 50, вчера 100- значит, продажи 50?
Если увеличилось - день пропускаем?
Или как-то тоньше?
Где-то должны быть все продавцы.
IdenticalNms, вроде, но, они далеко не во всех карточках есть, и не всегда identical.
Здравствуйте, а не подскажите как можно парусить данные о заказов и возвратов ?