Как удалить дубли контактов и привести в порядок клиентскую базу от 500 000 записей всего за 2,5 часа

Мы часто получали от клиентов такой запрос. В итоге разработали модуль, который позволяет нам безболезненно и быстро провести дедупликацию контактов более чем в 500 000 записей в базе всего за 2,5 – 3 часа. Подробнее читайте в статье.

Привет! Я CEO Webest Дмитрий Чистяков. Одно из направлений деятельности нашего агентства - внедрение, кастомизация CRM-систем и их интеграция со сторонними сервисами и продуктами. В статье речь пойдет о нашей недавней разработке - модуле контроля дубликатов в Б24.

В базах контрагентов у крупных компаний, как правило, количество карточек контрагентов доходит до нескольких сотен тысяч.

Отсюда практически у всех компаний есть потребность время от времени производить процедуру дедупликации (избавления от дубликатов данных) клиентской базы. Дубликаты в базе могли появиться по разным причинам и разными способами. Но цель одна — максимально быстро, качественно и безболезненно избавиться от дублирующих копий и сделать клиентскую базу максимально «чистой».

В нашей практике мы очень часто от клиентов получали такой запрос, но решения не было.

Да, в штатном функционале Битрикс24 есть возможность объединять дубликаты контрагентов (подробное описание предоставлено по ссылке — https://helpdesk.bitrix24.ru/open/10649014/), но данный функционал учитывает далеко не все сценарии и потребности клиентов.

В связи с этим мы разработали модуль поиска и объединения дубликатов для коробочных порталов Битрикс24. Модуль включает в себя следующие возможности, которых нет в штатном функционале Б24:

Отмечу сразу, что:

Раздел «Основные настройки» включает в себя следующее:

В разделе «CRM контакты» задаем параметры для поиска дубликатов на портале.

В настройках отбора/поиска можно задать фактически любые комбинации по условию поиска:

и по типу пользовательского поля/реквизита:

Приведу несколько простых примеров (комбинаций), по которым можно получить результаты по проверке дубликатов на портале:

Пример 1: NAME [строка] и PHONE [Множественное, где есть совпадение хотя бы по 1 номеру телефона] и BIRTHDATE [Дата] В результате мы получим выборку, где у контактов одинаковые значения в реквизитах: Имя и Дата рождения, а также где есть совпадения хотя бы по одному номеру телефона

Пример 2: UF_CRM_1608182734 [Диапазон по числовому полю с 100 до 1000] и EMAIL [Множественное, где есть совпадение по 2 e-mail адресам]В результате мы получим выборку контактов, у которых в реквизите «Бонусные баллы» значения в диапазоне от 100 до 1000, а также где есть совпадения по двум e-mail адресам.

Пример 3: UF_CRM_1587988967578 [строка не заполнено] и LAST_NAME [строка] и NAME [строка]В результате мы получим выборку контактов, у которых реквизит «GUID_1С» не заполнен, а также где есть совпадения по имени и фамилии клиента.

1. При нажатии на кнопку «Запустить задание на поиск дубликатов» мы составляем оптимальный sql запрос, который получает все необходимые данные по контакту за один раз, не подтягивая избыточные данные, что экономит как память, так и время.

2. Далее мы собираем массив всех контактов с уже найденными свойствами и имеем на выходе базу только необходимых данных, что позволяет быстрее производить поиск.

3. Проходясь по каждому элементу массива, мы находим группы дубликатов по первому свойству в списке полей.

4. Затем производим фильтр уже по найденным группам, уменьшая выборку дубликатов. Таким образом, процедура поиска дубликатов на клиентской базе более чем в 500 000 записей занимает всего порядка 2,5 – 3 часов.

В процессе запуска задания на поиск дубликатов также создается одиночный агент, который автоматически самоудаляется в конце операции. Агент осуществляет функцию блокировки запуска поиска либо объединения дубликатов для предотвращения наслаивания процессов.

Соответственно, после окончания поиска или объединения дубликатов кнопки вновь становятся активными для использования.

В данной таблице фиксируется:

В случае необходимости можно визуально сравнить/проверить отработку поиска дубликатов, а также экспортировать результаты в таблицу excel.

Для удобства отображения прогресса на странице поиска дубликатов используется специальный компонент, который обращается к таблицам и агентам, чтобы 1) определить, запущена ли какая-то из операций, 2) либо чтобы отобразить прогресс в режиме реального времени.

Результат поиска дубликатов выглядит следующим образом.

Как упоминалось ранее, в результате предоставляется ссылка на таблицу базы данных b_crm_duplicates, в которой и находятся результаты поиска.

При нажатии на кнопку «Запустить объединение дубликатов» мы проверяем существование специального агента для объединения на портале.

То есть агент создается только один раз, а далее он просто деактивируется на время поиска либо паузы операций.

Запустившийся агент получает данные из таблицы b_crm_duplicates и производит объединение записей по родителю (id_parent). Следовательно, все найденные дубликаты будут удалены с портала, а связанные с ними объекты/сущности перенесены в карточку родителя.

Следует отметить, что при запуске агента, процесс запускается только для одного родителя. При этом агент запускается каждые 10 секунд.

По нашим наблюдениям, данный временной интервал является оптимальным для того, чтобы успеть удалить карточки всех дубликатов, а также перенести все связанные сущности в карточку основного контакта.

В результате, после окончания процедуры, объединение дубликатов и всех связанных сущностей из карточек дубликатов, а также «дела» (звонки, комментарии, встречи, письма и пр.) будут перенесены в карточку родителя (основного контакта).

Результаты объединения можно посмотреть в отдельной таблице базы данных b_crm_duplicates_saved:

В данной таблице фиксируется:

В случае необходимости можно из публичной части портала найти данного контрагента в клиентской базе и убедиться в корректности отработки процедуры объединения дубликатов. Также данные из таблицы можно экспортировать в excel.

В рамках данного решения заложен функционал, который предоставляет возможность передавать/выгружать данные о результатах произведенной дедупликации в сторонние сервисы.

Для понимания приведем пример из практики:

1. У клиента на портале реализована интеграция с 1С с разными клиентскими базами. Соответственно, из каждой базы выгружаются контрагенты. Каждый контрагент обладает уникальным GUID (идентификатором).

2. В разных базах 1С GUID может быть уникальным, но при этом клиент может являться дубликатом. Этому могут служить разные причины: ошибки при заведении контрагентов на стороне 1С, специфика рода деятельности компании и др.

3. Через модуль контроля дубликатов мы находим дубликаты по комбинации соответствующих реквизитов, например: фамилия + имя + отчество + дата рождения. Производим объединение найденных дубликатов.

4. Выгружаем во внешнюю базу данных SQL информацию о найденных и удаленных дубликатах на портале. При этом передаем информацию по GUID клиента и ID уникального объекта на портале, по которым уже 1С, в свою очередь, может произвести процедуру дедупликации в соответствующих базах.

Сценариев и кейсов обмена с внешними сервисами может быть достаточно много. Мы готовы адаптировать и дорабатывать такого рода «связку» и с другими информационными системами/ресурсами, но как правило (в большинстве случаев) это всё же типовой обмен с базами данных SQL, из которых поступают данные для обмена/выгрузки из разных баз 1С.

Реализовали нужное решение, которое подойдет многим, кто использует коробочную версию Битрикс24, хочет быстро провести дедупликацию контактов и перенести все связанные сущности в карточку основного контакта.

Оставить заявку можно на нашем сайте.

Другие статьи по теме:

Надеюсь, статья была полезной. Отвечу на ваши вопросы в комментариях.