Как мы сделали приложение для МоегоСклада, которое позволяет анализировать данные

Рассказываем о нашей разработке – приложение, которое позволяет пользователям МоегоCклада перенести все данные из их аккаунта в облачное хранилище Google BigQuery, а затем подключаться к ним из Bi-приложений (Data Studio, Power Bi, Tableau) или Excel и строить любые информативные и наглядные отчеты.

МойСклад - это облачный сервис, предназначенный для управления торговлей. На сегодняшний день эта система входит в число лидеров российского рынка SaaS-приложений, сервисом уже воспользовались более 2 000 000 компаний.

В МоемСкладе уже есть стандартные отчеты по прибыльности, продажам по месяцам, по товарам, возможно для кого-то этих данных будет вполне достаточно. Но что делать, если Вы хотите настроить свой собственный отчет с уникальным набором метрик, используемых только в Вашей компании, что если Вам нужно:

• отслеживать выполнение плана продаж в разрезе дней;
• провести детальный анализ чеков и скидок;
• исследовать закономерности покупок клиентами;
  
• строить отчеты в любых разрезах и визуализировать данные в удобных для Вас графиках;
• быстро понимать, какие ключевые показатели растут, а какие падают;
• оценить эффективность работы сотрудников;
• и многие другие важные для бизнеса вещи.
  

Также желательно, чтобы все эти данные были в одном месте, не тратить на их подготовку уйму времени, которое уходит на формирование отчетов из разных разделов, их выгрузку в Excel и дальнейшую обработку, чтобы свести все выгруженные данные в единый отчет.

Поэтому для того, чтобы помочь пользователям МоегоСклада пересмотреть подход в области анализа данных, сократить время, затрачиваемое на сбор и обработку данных, мы разработали приложение «Конструктор отчетов в Google BigQuery», которое позволяет собрать всю информацию о продажах, закупках, платежах, товарах и других разделах МоегоСклада в одном хранилище, анализировать полученные данные и в дальнейшем с легкостью строить различные отчеты в Bi-приложениях.

Для того, чтобы начать работать со своими данными необходимо только установить приложение, а настройка интеграции МоегоСклада с BigQuery очень простая, занимает не больше 5 минут.

После установки наше приложение автоматически переносит документы и справочники из МоегоСклада в онлайн-хранилище данных Google BigQuery, позволяющее обрабатывать большие наборы данных за короткий промежуток времени. Например, можно посчитать сумму продаж из розничной сети, используя таблицу из 10 миллионов чеков, всего за пару секунд.

Так выглядит хранилище данных с загруженными в него таблицами, каждая из которых содержит определенный вид документа или справочник МоегоСклада.

Например, таблица

brv_product содержит в себе информацию о товарах,

brv_counterparty – о контрагентах,

brv_customerorder_positions – о позициях заказов покупателей.

Важной особенностью является то, что кроме стандартных полей, которые есть в справочниках МоегоСклада, наше приложение позволяет получать информацию еще и о всех дополнительных полях, которые пользователи создают сами.

После установки приложения новые данные из МоегоСклада будут загружаться в созданные таблицы автоматически с интервалом 1 раз в час, а если произошли изменения в загруженных раннее документах, то они тоже обновятся.

Кроме данных из МоегоСклада в BigQuery можно импортировать и свои собственные файлы в форматах CSV, JSON или загрузить данные из Google Таблиц.

Взаимодействовать с BigQuery пользователи могут, используя язык запросов SQL. С его помощью можно анализировать, создавать, свои наборы данных с нужными параметрами и показателями, находить решения и создавать модели машинного обучения.

Например, необходимо получить информацию о всех продажах из раздела «Отгрузки» с такими параметрами:

• Дата отгрузки
• Номер документа
• Наименование товара
• Проданное количество
  

Соответственно запрос, который выводил бы нам эти данные, будет выглядеть так:

и результат выполнения этого запроса будет таким:

Для того, чтобы пользователям было легче начать процесс автоматизации своей отчетности, мы написали документацию, в которой подробно описали весь процесс подключения нашего приложения, настройку интеграции МоегоСклада и BigQuery, подготовили описание всех таблиц, которые загружаются в BQ, на примерах показали, как писать SQL запросы, а также, как построить первый отчет в Google Data Studio.

Безусловно, мы понимаем, что не у всех компаний есть специалисты, которые работают с языком SQL, поэтому мы подготовили набор готовых универсальных SQL запросов, загрузив которые, уже можно начать строить первые информативные дашборды по таким разделам МоегоСклада, как:

• Закупки
• Продажи
• Деньги
• Розница
• Производство

Ниже представлен пример отчетов, построенных в Google Data Studio на базе готовых SQL запросов.

Если интересно более детально ознакомиться с отчетом, посмотреть, как работают фильтры, какие есть показатели, то посмотреть полную интерактивную версию можно здесь.

Время – это ценный ресурс любого человека, поэтому сейчас, когда информационные технологии развиваются с огромной скоростью, совсем не рационально тратить его на ручную рутинную обработку данных для отчетности. С помощью нашего приложения пользователям МоегоСклада станут доступны новые, современные способы работы с хранением и анализом данных, после знакомства с которыми, к старым методам формирования отчетов вряд ли кто-то захочет вернуться. Появится возможность строить полезные и красивые дашборды, отчеты в разных разрезах, а также производить расчет своих собственных показателей, которые будут обновляться автоматически, а доступ к отчетам будет всегда возможен, где бы Вы ни находились. Смотреть отчеты можно будет с компьютера, телефона или планшета, главное, чтобы был доступ в Интернет.

Подводя итог, хочется выделить основные преимущества нашего продукта для пользователей:

• Простая настройка интеграции МоегоСклада с BigQuery
• Автоматическое обновление данных 1 раз в час
• Загрузка значений дополнительных полей
• Высокая скорость обработки данных больших массивов данных
• Набор готовых SQL запросов по всем разделам МоегоСклада
• Подключение дополнительных источников данных (Google Таблицы, CSV, JSON файлы)
• Возможность работать с данными в Data Studio, Power Bi или Tableau
• Автоматизация отчетов и сокращение времени на их подготовку
• Доступ к готовым отчетам с любого мобильного устройства

На сегодняшний день у нашего приложения 23 пользователя и уже есть положительные отзывы, но на этом мы не останавливаемся, продолжаем работать над развитием продукта, планируем расширить функционал готовых SQL запросов, чтобы дать возможность большему числу пользователей работать с Google BigQuery без необходимости использования языка SQL.

Кроме интеграции МоегоСклада с BigQuery у нас есть цель создать единую платформу, где можно было бы за пару кликов настроить загрузку данных в BigQuery из таких CRM-систем как:

• amoCRM
• Bitrix24
• Yclients
• retailCRM

На сегодняшний день у нас уже готова интеграция с amoCRM, сейчас работаем над остальными.

Ниже пример отчета, построенного в Google Data Studio по данным из amoCRM

Спасибо, что дочитали статью до конца, будем очень благодарны обратной связи и пожеланиям по развитию нашего продукта.