Как добавить на сайт 20 000 товаров и не облажаться

В статье расскажу, какие приёмы и программы используем, какие частые ошибки и подводные камни встречаются на разных этапах работы.

Статья будет полезна не только владельцам интернет-магазинов и коллегам из других веб-студий и, но и для поставщиков, которые предоставляют выгрузки для дилеров и партнёров.

Меня зовут Евгений Лукин, руковожу проектами в веб-студии Юсота. Мы занимаемся запуском и наполнением интернет-магазинов, а также настройкой синхронизации цен и остатков. Сделали более 100 магазинов, поэтому набили много шишек, которыми хочу поделиться.

Импорт товаров мы делим на несколько этапов. Это помогает не запутаться, если работаешь один, а если работаешь в команде - можно параллелить задачи. Так будет быстрее.

Мы используем два метода сбора информации о товарах. Первый - взять из выгрузки поставщика. Второй - спарсить с сайта одного или нескольких поставщиков.

Для примера возьму один из кейсов - импорт товаров поставщика электротоваров IEK. Поставщик предоставляет прайс в Excel. В прайсе только основная информация о товарах:

Ссылка есть - отлично. Я пишу программу, которая будет автоматически переходить по ссылке и собирать дополнительную информацию о товаре - ссылки на фото, описание и характеристики.

Создаю небольшую базу данных SQLite с тремя таблицами: товары, фотки, характеристики. Можно из без базы данных - просто в три отдельных эксель-файла, но с базой удобнее отслеживать, какие товары уже импортированы.

Разделение делается для того, чтобы работать параллельно. Пока я разбираюсь с товарами и характеристиками, мой помощник занимается фотографиями, а на стороне заказчика ребята раскладывают товары по категориям.

Чтобы загрузить фотографии на свой сайт, их нужно предварительно скачать с сайта поставщика и подготовить для импорта.

Конечно, можно скачивать по ссылкам поставщика напрямую на сайт, но я против такого подхода. С фотографиями не всё так просто. Какие подводные камни: дубли, неадекватные размеры, ориентация.

Дубли бывают двух видов - одинаковые фотографии, но разные названия и одинаковые названия, но разные фотографии.

Если у фотографий разные ссылки и разные названия, то нужно их прогнать через программу, которая распознаёт дубли и оставить только одну. Чтобы не засорять место на сайте лишними изображениями.

Если у фотографий одинаковые названия, но разные ссылки, то при скачивании, ранее загруженная фотография будет перезаписана более поздней. Если это не проверить - у разных товаров будет одна и та же фотография. Чтобы исключить такую ошибку, я настраиваю программу так, чтобы она переименовывала фотографии при скачивании.

У однотипных товаров могут быть одинаковые фотографии. Например, как у крестовин, что были выше на фотографии.

Нормальный размер фотографии для обычного интернет-магазина - не более 1000 пикселей по меньшей стороне. Я сейчас не говорю про такие товары, где хочется разглядеть каждую деталь, как например в одежде.

А на сайтах некоторых поставщиков фотографии ну прямо огромные - мне встречались фотографии по 9000 px и размером под 15 мегабайт.

Я примерно понимаю, почему это происходит. Какой-нибудь завод заказывает фотосессию своей продукции у фотографа. А в этой профессии принято отдавать фотографии в максимальном разрешении, чтобы заказчик мог использовать фотографии и в печати для огромных баннеров и мало ли где ещё - в общем приоритетом идёт качество, а не размер фотографии.

А подготовка фотографий для сайта отдаётся на откуп контент-менеджеру. К сожалению, иногда контент-менеджером завода выступает его сотрудник, не знакомый с тонкостями веба.

Поэтому часто встречаю фотографии в формате PNG. Хотя для интернет-магазинов лучше использовать JPG или WebP. Эти форматы уменьшают вес фотографий без потери качества и сайт быстрее открывается.

Для исправления ошибки с неадекватными размерами, перед импортом фотографий на сайт, прогоняем их через конвертер изображений. Иногда это уменьшает общий размер фотографий в 10 раз. Соответственно и скорость импорта на сайт уменьшается.

Если у нас на сайте все фотографии квадратные, а у поставщика вертикальные или горизонтальные, то конвертируем в требуемую ориентацию.

Как правило, делаем это одновременно с сжатием фотографий.

Для пакетной обработки фотографий используем xnConvert для Windows, ImageMagick для linux или библиотеку Pillow, если пишу программу на Python.

Пока фотографии скачиваются и обрабатываются, параллельно занимаемся раскладыванием товаров по категориям.

Категории на сайте поставщика и на нашем сайте - всегда отличаются. А если собираем данные с сайтов разных поставщиков, то тем более.

Иногда эту работу выполняет сотрудник на стороне заказчика, так как он лучше разбирается в своей нише. Или если у заказчика есть свой SEO-специалист, то этот этап полностью поручаем ему.

Но чаще всего эту работу делаю сам с помощником. Особенно если у заказчика это первый интернет-магазин и ещё нет понимания, что такое SEO и насколько важно правильно собрать дерево категорий, чтобы охватить и нужные поисковые запросы и посетителей на сайте не запутать.

К сожалению, эту работу полностью автоматизировать нельзя. Поэтому, при очень большом ассортименте мы делим задачу на два этапа.

На первом этапе оставляем только первый и второй уровни вложенности. Например, «Светильники / Интерьерные светильники». И загружаем товары на сайт, чтобы они уже были доступны для покупателей.

На втором этапе, медленно и скрупулезно, добавляем следующие уровни вложенности. Например:

Чем раньше мы загрузим товары на сайт, тем раньше посетители смогу уже работать с ассортиментом заказчика. Поэтому на этом этапе мы загружаем товары, когда у нас есть минимальная необходимая информация:

Загружаем порционно. Порции разбиваем по категориям. Например, как только готова первая категория с 1000 товаров - отправляем её на сайт. Пока она импортируется - мы готовим к импорту следующую категорию.

Для импорта товаров на сайт чаще использую API. Но если такой возможности нет, используем разные модули импорта. В Битриксе свой встроенный модуль. В WordPress - WP All Import. В принципе, в каждой CMS есть свой импорт, в том числе и у маркеплейсов. Основная проблема - подготовить данные в нужном формате. Для большинства CMS у нас уже есть готовые шаблоны и написаны алгоритмы, как с ними работать.

Самый кайф пользования интернет-магазином - возможность фильтровать товары. Не просматривать 100 страниц, а сузить выборку товаров по только важным характеристикам - по цвету, размеру, мощности и т.д.

Чтобы добавить фильтр по характеристикам на сайт - нужно загрузить характеристики в карточки товаров. Иногда характеристик очень много. Какие параметры товара использовать для фильтрация, а какие нужны только для справки - мы решаем именно на этом этапе.

Опять возвращаемся к тому, что названия и значения характеристик у поставщика 100% не будут совпадать с нашими.

Особенно это касается значений параметров:

Эту работу тоже нельзя полностью автоматизировать. Иногда на работу с характеристиками уходит не один месяц. Поэтому мы загружаем сначала только ключевой параметр «Бренд» или «Производитель». А остальные добавляем по мере приведения характеристик в порядок. Если поставщиков несколько - это превращается в особый вид боли.

Но в любом случае, мы сначала загружаем все характеристики, как справочные. А потом по одному атрибуту заменяем на реальные, которые будут использоваться на нашем сайте.

По моему опыту скажу, когда заказчик задумывается о запуске интернет-магазина, чаще всего упор делается на дизайн. Но, к сожалению, никакой дизайн не вытащит интернет-магазин с неактуальным ассортиментом.

Об обновлении цен нужно подумать в первую очередь.

Мы выявили несколько основных проблем с поставщиками. И под каждую ситуацию придумали своё решение.

Поставщик предоставляет файл выгрузки - идеально

Настраиваем синхронизацию по уникальному идентификатору, например по артикулу.

Несколько поставщиков и у всех разные форматы выгрузки - в csv, xlsx, yml, xml

Под каждого поставщика - пишем свою программу синхронизации

Поставщик не предоставляет файл выгрузки, говорит - всё есть на сайте

Настраиваем мониторинг цен с формированием своего файла выгрузки

Поставщик не предоставляет ни цены, ни остатки

Настраиваем синхронизацию с системой учёта заказчика - 1С или МойСклад

Программа может не только обновлять цены, но и автоматически добавлять новые товары, скрывать товары, вышедшие из ассортимента, синхронизировать остатки с 1С заказчика или суммировать с остатками поставщика. В общем тут границ нет.