{"id":14262,"url":"\/distributions\/14262\/click?bit=1&hash=8ff33b918bfe3f5206b0198c93dd25bdafcdc76b2eaa61d9664863bd76247e56","title":"\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u0435 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0434\u043e 1,5 \u043c\u043b\u043d \u0440\u0443\u0431\u043b\u0435\u0439","buttonText":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","imageUuid":"726c984a-5b07-5c75-81f7-6664571134e6"}

Как быстро получить данные из CRM? Наше приложение для Битрикс24 — Data Connector

На связи диджитал-интегратор Ремарк, специализируемся на системной интеграции, внедрении CRM и разработке приложений для CRM. У наших клиентов часто возникают задачи визуализации данных и составления уникальных отчетов. Обычно мы используем сценарий, когда BI-система интегрируется с CRM и базой данных, но бывают и исключения, вызванные техническими ограничениями систем.

Ограничения системы

Работая с Битрикс24, мы столкнулись с медленной загрузкой данных в базу из Битрикс24 из-за технического ограничения REST API. Каждый раз это значительно увеличивало время предоставления данных и затрудняло анализ статистики.

Битрикс24 REST API позволяет получать доступ к элементам сущностей (лиды, сделки, контакты и т.д.), но имеет существенное ограничение — два запроса в секунду, чтобы не нагружать систему. Если превысить лимит 50 раз, происходит временная блокировка доступа к REST API, приложение не сможет получать доступ к данным.

1 запрос возвращает не более 50 элементов по сущности. Но можно выполнить 1 пакетный запрос, который содержит в себе 50 обычных запросов, тем самым можем получить 50×50=2500 элементов сущности.

Например, мы хотим получить 200 000 сделок из CRM и провести аналитику. Для этого нам нужно выполнить 80 пакетных запросов. В среднем 1 пакетный запрос выполняется 20 секунд. 20 секунд × 80 пакетов ≈ 27 минут. Это только на получение данных, а их еще нужно обработать и построить отчет для анализа. В таком случае мы не сможем пользоваться отчетом в реальном времени, так как суммарное время построения отчета может превысить 30 минут. Очевидно, такая скорость работы недопустима для комфортного использования отчета.

Как мы обошли ограничения

Чтобы решить эту проблему, мы создали приложение Data Connector. Оно позволяет экспортировать данные из Битрикс24 во внешнюю базу данных MySQL и поддерживать их актуальность в режиме реального времени. К созданной базе данных подключается стандартный коннектор, и через него BI-система забирает необходимые данные.

Пример: Менеджер создал контакт в Битрикс24. CRM сгенерирует событие, которое обработает Data Connector и обновит данные в базе MySQL

Возможности использования приложения

Помимо быстрого обновления данных в базе в реальном времени, Data Connector имеет гибкие настройки. Можно выбрать сущности для импорта, которые нам нужны, и Data Connector сам создаст структуру таблиц для хранения выгружаемых данных.

Кроме этого, Data Connector автоматически отслеживает добавление новых полей в сущностях. Без этой функции пришлось бы самостоятельно составлять таблицы и отслеживать добавление новых пользовательских полей.

Можно без ограничений REST API интегрировать базу данных с другими системами, например загрузить в Microsoft Power BI, Google Data Studio и другие. Это позволяет быстро построить и визуализировать отчеты для дальнейшего анализа и похвастаться перед конкурентами — сколько у вас лидов, не показывая им CRM.

Пример использования Data Connector

Создание уникальных отчетов на основе данных CRM, например наш отчет «Пульс продаж застройщика».

Отчет помогает в ежедневном режиме следить за ключевыми показателями работы отдела продаж застройщика, замечать отклонения или изменения и корректно их интерпретировать.

В качестве хранилища данных используется отдельная база данных, созданная с помощью Data Connector. В ней содержится список лидов и основные характеристики, которые обновляются автоматически, в режиме реального времени.

В Data Studio эта база данных подключена в качестве источника, а для отображения нескольких показателей на одном графике (новые, обработанные, некачественные) используется инструмент Blended Data.

Имея корректно подготовленные и загруженные данные в Data Studio, довольно просто разобраться с базовыми инструментами визуализации и подготовить первый отчет.

Когда нет штатной интеграции с Битрикс24

Data Connector позволяет также отправлять данные в другую CRM, например когда нет штатной интеграции с Битрикс24 или с третьим приложением.

Пример: Зачастую у сервисов для CRM-маркетинга нет готовой интеграции с CRM, в таком случае с помощью Data connector можно настроить автоматический экспорт новых контактов в систему автоворонок, исключая необходимость периодического ручного обновления списка клиентов

Резервное копирование данных

Данные можно экспортировать во внешние базы вручную и делать резервные копии на случай потери или повреждения основного устройства.

Как установить Data Connector?

Data Connector берет на себя нагрузку при обработке данных, поэтому не нужно беспокоиться о том, что часть данных потеряется или не экспортируется. Коннектор создает актуальную копию данных Битрикс24 и позволяет работать с ними без ограничений в любое время. Мы создали универсальное хранилище данных из CRM, которое можно использовать для интеграции с третьими системами. Протестировать Data Connector можно по ссылке: https://www.bitrix24.ru/apps? app=remark.b24storage

0
15 комментариев
Написать комментарий...
Roman

Костыли к костылям, понимаю 

Ответить
Развернуть ветку
Remark
Автор

Спасибо за комментарий! Идеальных CRM, к сожалению, не бывает. Цель Data Connector решить конкретную проблему, с которой мы столкнулись, как и другие тысячи юзеров данной системы. 

Ответить
Развернуть ветку
Антон Ляшенко

С вами можно поспорить что идеальных CRM не бывает. Тот факт что ряд известных СRM это неэффективный продукт доказывает тем фактом что вам приходиться делать на базе них костыли.

Ответить
Развернуть ветку
Панда Ву

У REST API как у технологии нет технических ограничений, просто Битрикс24 огромная куча говна по ошибке принятая «скульпторами»-недоучками за глину.

Ответить
Развернуть ветку
Remark
Автор

Спасибо за комментарий! Верно,  у REST API как у технологии нет технических ограничений, речь об ограничениях конкретной системы :)

Ответить
Развернуть ветку
Антон Ляшенко

По поводу кучи говна в точку)))

Ответить
Развернуть ветку
Денис Вячеславович

Что там с атомарностью данных?

Ответить
Развернуть ветку
Remark
Автор

Спасибо за вопрос! Каждое поле любой сущности - это отдельное поле в соответствующей таблице БД.

Ответить
Развернуть ветку
Денис Вячеславович

Атомарность данных не про то.

Ответить
Развернуть ветку
Владимир Ситников

А задачи с временем выполнения и оценкой можно получить? Для расчета kpi во внешней системе?

Ответить
Развернуть ветку
Remark
Автор

Спасибо за вопрос! В следующем релизе будет добавлена возможность экспорта данных по задачам. 

Ответить
Развернуть ветку
Vladimir Kopytko

Добрый день, 
скажите, пожалуйста, будет ли доступно ваше приложение в Маркете для еврозоны?

Ответить
Развернуть ветку
Remark
Автор

Добрый день, Владимир. Пока приложение для еврозоны
не будет доступно, но мы можем индивидуально решить задачу. Обращайтесь по телефону или по почте: +7 800 333-89-31, [email protected]
Спасибо за комментарий!

Ответить
Развернуть ветку
Max OneWEB

При испльзовании данного приложения, оно сообщает, что экспорт завис, и в итоге таблицы пустые, в чем проблема может быть?

Ответить
Развернуть ветку
Remark
Автор

Добрый день. Давайте подробнее разберем проблему, опишите ее и отправьте на почту поддержки: [email protected]

Ответить
Развернуть ветку
12 комментариев
Раскрывать всегда