Как мы объединили БД и обогатили Bitrix24 для B2B продаж

Известно, что CRM-система облегчает работу менеджеров по продажам, а CRM-система, в которой накоплены данные о продажах юридическим лицам за несколько лет — рабочий инструмент в руках грамотного менеджера.

Сегодня с нашим CTO Владом Тимофеевым расскажем как мы обогатили данными CRM-систему Bitrix24 и помогли продавать в сегменте B2B.

О заказчике: 2 федеральных интернет-магазина, в которых независимо друг от друга велась клиентская база юридических лиц с накопленными данными за весь период работы.

Ключевая задача: создать единую клиентскую базу юридических лиц (в Bitrix24) и обогатить ее данными из двух существующих баз данных (БД) интернет-магазинов для последующих продаж.

Для этого нужно:

Для удобства назовем интернет-магазины А и В.

Для прозрачности работы — составили пошаговый план, в котором отразили важные этапы проекта.

Шаг 1. Формирование идеального результата.

Шаг 2. Сбор информации. Погружение в инфраструктуру.

Шаг 3. Проектирование

Шаг 4. Выгрузка данных: извлечение, преобразование, загрузка

Шаг 5. Тестирование и отладка

Шаг 6. Ввод в эксплуатацию

Теперь подробнее о каждом шаге.

Собираем информацию, что хотим видеть в CRM, какие сущности, и какие свойства у них должны быть заполнены. Какие требования необходимо применить к проверке данных. То есть формируем идеальный результат наших действий.

В Bitrix24 выделили 2 сущности, с которыми будем работать:

Компании — сущность, которая содержит информацию по юридическому лицу, организационно-правовую форму, реквизиты, банковский реквизиты.

Контакт — сущность, представляет карточку с информаций о контактом лице в конкретной компании, т.е. менеджера по закупкам в компании. Контакт привязывается к компании.

Определили бизнес-требования для CRM Bitrix24:

На этом этапе предстояло ответить на следующие вопросы:

Для полного представления об инфраструктуре мы встретились с каждым представителем интернет-магазина и обсудили важные детали:

Определили технические ограничения: какие данные сможем получить и в каком виде. Также нам передали документацию по структуре данных юридических лиц.

В итоге мы получили полное представление об инфраструктуре обоих интернет магазинов и всю необходимую информацию. Можно приступать к написанию конструкторской документации (КД) .

В конструкторской документации (КД) мы описали

Команда QA описала тест-кейсы. После согласования КД со всеми заинтересованными в ней участниками, техлид приступил к написанию спецификации.

Итогом третьего шага стало:

О том, как выгружали данные, плюс немного технических моментов.

Для решения задачи необходимо реализовать два режима выгрузки данных:

Объем данных:

В интернет магазине А — 75 000 контактов, 53 000 компаний

В интернет магазине В — 600 000 контактов, 125 000 компаний

За основу реализации взяли процесс ETL.

ETL – аббревиатура Extract. Transform. Load.

Дословно – Извлечение. Преобразование. Загрузка.

На данном шаге мы должны реализовать интеграцию с интернет-магазинами для получение "сырых" данных. Важно понимать, что »сырые” они только для новой CRM, в то время как для интернет-магазина это полноценный объем данных в его базе.

Интернет-магазин А предоставил реплику базы данных (БД) , на этапе выгрузки мы забирали пачку данных, обрабатывали её и сохраняли. Для получения обновлений реализовали запуск скрипта раз в сутки с фильтрацией по дате обновления для постоянного обогащения CRM Bitrix24.

Интернет-магазин B предоставил топик в kafka, откуда мы получали обновление в realtime, а для полной выгрузки нам передали json-файлы.

Итого мы реализовали три метода получения данных:

Теперь важно реализовать очистку и преобразование данных для будущих сущностей, чтобы они соответствовали потребностям бизнес-модели:

Отдельным блоком выделили валидацию компаний (нужны только действующие компании) . Для реализации этого требования воспользовались сервисом ЕГРЮЛ, для получения данных о компании. Bitrix24 имеет готовый модуль “из коробки” для получения сведений из ЕГРЮЛ по ИНН.

Но данные приходили “сырые”, мы должны были убедиться, что ИНН валидный перед тем, как сделать запрос в ЕГРЮЛ. Такой запрос стоил времени, на него уходило 0,4 сек, что уменьшало скорость обработки выгрузки.

Для ИНН реализовали стандартную проверку на длину и символы: ИНН должен состоять из 10 или 12 цифр. А также реализовали проверку контрольных чисел: проверка, которая определяет корректность номера ИНН с помощью математической формулы. Данная формула — унифицированная для всех ИНН.

По итогам проверки: в ЕГРЮЛ отправляются вопросы только с валидным ИНН, что сократило время выполнения скриптов на 30-40%.

Теперь мы получили очищенные данные, и сохранили их в БД как сущности CRM:

- компании

- контакты

Данный шаг был одинаковым для 3 источников (БД, kafka, файлы) На этапе написания спецификации мы учли, что данный этап в нашей выгрузке будет повторятся и заранее определили формат и состав данных, с которым будем работать, и тем самым сократили объем ресурсов на реализацию.

Реализацию разделили между разработчиками, задачу по загрузчику (Loader) поставили в приоритет, т. к. он общий для всех источников. Параллельно, второму разработчику, передали в работу с задачей выгрузки (extractor) из интернет-магазинов. Выгрузку из интернет-магазина А выполнили первой, и разработчик приступил к выгрузке обновлений из Kafka интернет-магазина Б.

Первым релизом — выпущены выгрузка из интернет магазина А, с общим загрузчиком.

Вторым релизом вышла выгрузка обновлений из интернет-магазина Б.

Третьим вышла полная выгрузка исторических данных из интернет-магазина Б.

Таким образом, даже на этапе разработки, мы непрерывно снабжали новыми данными менеджеров по продажам.

Для тестирования использовался процесс e2e тестирования, т.е. когда систему тестируют с помощью воздействия на нее через внешние ресурсы, в нашем случае интернет-магазины. По результатам теста выполнены работы по отладке, и задача была подготовлена к релизу.

Полную выгрузку из интернет-магазинов запускали в ручном режиме. Для получения обновлений из магазина А установили регулярную задачу (cron-job), раз в сутки забирали свежие данные. Из магазина В, благодаря kafka получили обновления в realtime.

Bitrix 24 была обогащена, нам удалось выгрузить более 170 000 действующих компаний, более 264 000 контактов по обоим интернет-магазинам

Менеджеры по продажам получили накопленную базу клиентов из двух больших торговых сетей. Это дало возможность работать со старыми клиентами, добиваться повторных продаж и по максимум использовать для этого функционал CRM Bitrix24.

Заказы получены и конвертированы в сделки, отчеты и вся аналитика доступна по щелчку мышки.

Отмечу, что в этом случае только благодаря коммуникациям “бизнес-разработчики-бизнес” удалось реализовать поставленные задачи, тк разработчики знают как быстро интегрироваться и как получить те или иные данные, но только при грамотно построенной коммуникации между бизнесом и разработчиком возможно достичь целей и остаться довольным своей работой. Ну и как в этом кейсе - получить данные для увеличения продаж.

В качестве CRM - Bitrix 24

база данных mysql

kafka - для обмена сообщений.

ETL процесс помог организовать php-пакет flow-php/etl.

Для работы с большими файлами json применили php-пакет halaxa/json-machine. Скрипты для получение обновлений из реплики БД запускаются с помощью cron.

За консюмерами kafka следит supervisord.