Как сделать MVP сложного сервиса обработки данных просто

Добрейшего и бодрого дня, дорогие читатели! Сегодня вещает амбициозная, задорная команда программистов Curesell :)

Несколько недель назад мы писали о нашей разработке, позволяющей автоматически продавать товары, опираясь на стоимость конкурентов на маркетплейсе Вайлдберриз. На днях мы сделали MVP, и спешим поделиться нашими наблюдениями, решением проблем, с которыми столкнулись.

Первая проблема - это сложность определения ключевых функций для минимальной рабочей версии, как всегда хочется изначально реализовать весь функционал и показать насколько все круто, но для MVP важна база и быстрая реализация. Мы остановились на автоматическом поиске конкурентов, мониторинге цен, отзывов, продаж и отчетах.

Вторая сложность - это поиск админ панели, для демонстрации результатов работы алгоритмов. Админок для работы с Python и нейронными сетями не так много, но мы нашли неплохой зарубежный сервис, который в этом нам помог - streamlit.io и сервис с вычислительными мощностями heroku.com.

Также возникали проблемы со скоростью парсинга, на чистом Python скорость была очень низкая, как решение, переписали скрипты на Cython (Python-код с небольшими модификациями, который затем напрямую транслируется в C-код). Однако на этом трудности не закончились, возникли сложности со сбором данных о продажах (в html-коде у данного элемента стоял тег span, что мешало собрать его содержание), пришлось подключать Selenium.

Мы тестировали разные способы автоматического поиска конкурентов: через категории, поисковую выдачу, по фотографиям. Остановились на последних двух вариантах, в данных случаях выводились наиболее релевантные товары-конкуренты. Из-за ограниченных серверных возможностей, за одну процедуру парсинга возможен сбор 900 карточек товаров.

Проанализировав варианты поиска, мы добавили морфологическую форму запроса, так как от падежа запроса зависит количество конкурентов в поисковой выдаче.

Помимо автоматического поиска и парсинга товаров конкурентов, добавили парсинг по ссылке, можно собрать информацию о товарах конкретного бренда.

Добавили основные графики: график цен конкурентов и график зависимости цены от продаж, которые помогут правильно скорректировать ценовую политику и провести аналитику конкурентов.

Все таблицы и графики можно выгрузить в удобный excel-формат.

По времени на всю разработку ушло 2 недели.

Разработать полноценный веб-сервис, собрать клиентскую базу, ну и естественно захватить мир!)

В новой версии Системы умных цен планируем усовершенствовать функционал:

• Автоматического поиска конкурентов (будет осуществляться поиск по каждому вашему товару, улучшен сам алгоритм поиска, не будет ограничений по количеству найденных конкурентов, добавятся новые маркетплейсы)
• Мониторинга конкурентов (будет доступна информация о начале продаж, цена со скидкой и до нее, история цен и продаж конкурентов, добавлена функция прогнозирования, выявления трендов продаж)
• Автоматического регулирования цен на ваши товары (вы сможете установить параметры ценовой политики, например находиться в ТОП 10% лучших цен пот товарам среди конкурентов, цены будут персчитываться автоматически в зависимости от рыночной ситуации, будет проработатна система ценовых рекомендаций)
• Отчетов и статистики (добавится возможность уведомлений о событиях в телеграм или на почту, будет реализована сводная статистика по по продажам/ценам в режиме реального времени, можно будет оценить свои позиции на рынке).

В результате получилась вполне рабочая версия сервиса, которая уже может приносить пользу и которую можно демонстрировать клиентам.

Будем благодарны за обратную связь, сейчас пользоваться Системой умных цен можно бесплатно)

Желаем больших продаж и бодрого настроения!