Массово создаём карточки товаров для маркетплейсов. Онлайн и без регистрации

Добрый день. Мы делаем PIM-систему. Кроме прочего, она умеет автоматически создавать карточки товаров, и мы решили дать бесплатный доступ к этому функционалу, и даже без необходимости регистрироваться. Кроме того, мы сделали доступными публично ещё несколько удобных функций для работы с файлами Яндекс Маркета (yml), а также выложили базу штрихкодов в открытый доступ.

Пользователь скачивает в личном кабинете маркетплейса шаблон для создания карточек товаров. Добавляет в него названия тех товаров, для которых нужно создать карточки, и загружает получившийся файл к нам.

Через пару минут можно скачать результат. В случае успеха, там будут заполнены штрихкоды, характеристики, а также ссылки на изображения товаров. За раз мы можем обработать 100 товаров.

Кроме того, есть возможность конвертировать файлы Яндекс Маркета в Эксель и обратно. Я сам иногда ей пользуюсь, работать с данными в табличном виде намного удобнее, чем с xml файлом.

Ссылка для тестирования:

В час с одного IP-адреса можно загружать не более 10 файлов.

Хорошо получаются карточки товаров известных или относительно известных брендов. Плохо — одежда, обувь, ноунейм товары.

Для незарегистрированных пользователей сервис работает в режиме черного ящика: файл на входе — файл на выходе. Что происходит между, остаётся загадкой. Из-за этого нет возможности контролировать процесс и получать на выходе данные без ошибок. Поэтому, к сожалению, в данных иногда будут встречаться ошибки. Я рекомендую не использовать эти данные без дополнительных проверок.

Об этом есть подробная техническая статья на Хабре.

Краткий пересказ:

1. Парсим сайты с товарами. Уже распарсили 70 миллионов товаров, 160 миллионов изображений и миллиард характеристик.

2. Разбираем загруженный пользователем файл. Определяем названия характеристик, их типы и единицы измерения, а также забираем список товаров, для которых их нужно заполнить.

3. Ищем соответствия товарам из списка у нас в базе. По популярным товарам находится 15-20 таких соответствий.

4. Берём уникальные по содержанию изображения наилучшего качества из нашей базы. В файл отдаем 5 лучших.

5. Заполняем характеристики товаров. Учитываем типы, возможные значения, единицы измерения.

Для всех этих шагов в системе есть механизмы контроля их корректности. Простыми словами, менеджер (или контент-менеджер) может проследить, что откуда взялось. В публичной версии этого нет, но можно оценить эти функции в демо-кабинете.

Под обработку публичных задач выделен один виртуальный сервер, который задачи выполняет по-очереди. Я не уверен в востребованности этой функции в таком виде, поэтому дальнейшее масштабирование, защиту от злоупотреблений и так далее будем делать или не будем делать в зависимости от реакции пользователей.

Будет большая очередь задач от реальных пользователей — добавим серверов. Будет много ботов — добавим капчу.

Мы рассчитываем, что некоторые из бесплатных клиентов когда-то станут платными.

На самом деле, не так много задач можно решить одной кнопкой, без контекста и предварительных настроек. Инструменты для таких задач мы продолжим делать бесплатными. Я буду благодарен, если в комментариях вы поделитесь идеями таких инструментов.

Кстати, это второй подход к возможности создавать карточки без регистрации. Первым было браузерное расширение для личных кабинетов маркетплейсов. Подход не оправдал себя, в личных кабинетах регулярно что-то менялось, что ломало работу расширения. На восстановление их работы тратилась уйма времени.

Если вы нашли ошибку в работе функций, напишите мне в телеграм @YuryLoskat. Спасибо.