Продолжу #марафон постов про технологические проекты
В прошлый раз рассказывал про Datareon как про инструмент для интеграции приложений и управления данными. Сегодня, про ситуации, когда стандартных коннекторов платформы уже недостаточно.
Типовые коннекторы закрывают большинство стандартных задач, но в реальных проектах этого хватает не всегда. Для таких случаев в DATAREON Platform используются программируемые коннекторы, это плагины на C#, которые позволяют реализовать собственную логику взаимодействия с источником или приемником данных. Платформа при этом берет на себя запуск, остановку, мониторинг и обработку ошибок.
🌟 Один из таких кейсов у нас был в крупном строительном холдинге со сложной ИТ-инфраструктурой, 1С, веб-системы на MySQL, Kafka и Active Directory. Проблема была типовая для больших компаний, файловый хаос, документы хранились в разных местах, дублировались, а поиск занимал часы.
Задача была в том, чтобы автоматически собирать рабочие документы в единое хранилище без изменения привычек сотрудников. В качестве хранилища использовали NextCloud. Стандартный файловый коннектор здесь не подходил, потому что нужно было подхватывать любые файлы как есть, docx, xlsx, pdf, dwg, без разбора структуры. Поэтому сделали гибридное решение, программируемый коннектор для мониторинга файловой системы и стандартный REST-коннектор для отправки в NextCloud.
Дальше уже работала логика классификации, по расширению файла, исходному пути, имени файла и, при необходимости, по метаданным. В результате путь от сохранения файла до появления в NextCloud занимал секунды.
Такие кейсы хорошо показывают, что в технологических проектах основная сложность часто находится не на поверхности, а в архитектурных и интеграционных деталях.
На этом у меня всё. Всем хорошей недели!