Как быстро получить данные из CRM? Наше приложение для Битрикс24 — Data Connector

На связи диджитал-интегратор Ремарк, специализируемся на системной интеграции, внедрении CRM и разработке приложений для CRM. У наших клиентов часто возникают задачи визуализации данных и составления уникальных отчетов. Обычно мы используем сценарий, когда BI-система интегрируется с CRM и базой данных, но бывают и исключения, вызванные техническими ограничениями систем.

Работая с Битрикс24, мы столкнулись с медленной загрузкой данных в базу из Битрикс24 из-за технического ограничения REST API. Каждый раз это значительно увеличивало время предоставления данных и затрудняло анализ статистики.

Битрикс24 REST API позволяет получать доступ к элементам сущностей (лиды, сделки, контакты и т.д.), но имеет существенное ограничение — два запроса в секунду, чтобы не нагружать систему. Если превысить лимит 50 раз, происходит временная блокировка доступа к REST API, приложение не сможет получать доступ к данным.

1 запрос возвращает не более 50 элементов по сущности. Но можно выполнить 1 пакетный запрос, который содержит в себе 50 обычных запросов, тем самым можем получить 50×50=2500 элементов сущности.

Например, мы хотим получить 200 000 сделок из CRM и провести аналитику. Для этого нам нужно выполнить 80 пакетных запросов. В среднем 1 пакетный запрос выполняется 20 секунд. 20 секунд × 80 пакетов ≈ 27 минут. Это только на получение данных, а их еще нужно обработать и построить отчет для анализа. В таком случае мы не сможем пользоваться отчетом в реальном времени, так как суммарное время построения отчета может превысить 30 минут. Очевидно, такая скорость работы недопустима для комфортного использования отчета.

Чтобы решить эту проблему, мы создали приложение Data Connector. Оно позволяет экспортировать данные из Битрикс24 во внешнюю базу данных MySQL и поддерживать их актуальность в режиме реального времени. К созданной базе данных подключается стандартный коннектор, и через него BI-система забирает необходимые данные.

Помимо быстрого обновления данных в базе в реальном времени, Data Connector имеет гибкие настройки. Можно выбрать сущности для импорта, которые нам нужны, и Data Connector сам создаст структуру таблиц для хранения выгружаемых данных.

Кроме этого, Data Connector автоматически отслеживает добавление новых полей в сущностях. Без этой функции пришлось бы самостоятельно составлять таблицы и отслеживать добавление новых пользовательских полей.

Можно без ограничений REST API интегрировать базу данных с другими системами, например загрузить в Microsoft Power BI, Google Data Studio и другие. Это позволяет быстро построить и визуализировать отчеты для дальнейшего анализа и похвастаться перед конкурентами — сколько у вас лидов, не показывая им CRM.

Создание уникальных отчетов на основе данных CRM, например наш отчет «Пульс продаж застройщика».

Отчет помогает в ежедневном режиме следить за ключевыми показателями работы отдела продаж застройщика, замечать отклонения или изменения и корректно их интерпретировать.

В качестве хранилища данных используется отдельная база данных, созданная с помощью Data Connector. В ней содержится список лидов и основные характеристики, которые обновляются автоматически, в режиме реального времени.

В Data Studio эта база данных подключена в качестве источника, а для отображения нескольких показателей на одном графике (новые, обработанные, некачественные) используется инструмент Blended Data.

Имея корректно подготовленные и загруженные данные в Data Studio, довольно просто разобраться с базовыми инструментами визуализации и подготовить первый отчет.

Data Connector позволяет также отправлять данные в другую CRM, например когда нет штатной интеграции с Битрикс24 или с третьим приложением.

Данные можно экспортировать во внешние базы вручную и делать резервные копии на случай потери или повреждения основного устройства.

Data Connector берет на себя нагрузку при обработке данных, поэтому не нужно беспокоиться о том, что часть данных потеряется или не экспортируется. Коннектор создает актуальную копию данных Битрикс24 и позволяет работать с ними без ограничений в любое время. Мы создали универсальное хранилище данных из CRM, которое можно использовать для интеграции с третьими системами. Протестировать Data Connector можно по ссылке: https://www.bitrix24.ru/apps? app=remark.b24storage