Заметки для ИТ ...
В корпоративной ткани данных большинства компаний имеется некоторая неправильность, которую как-то исправляет DWH с помощью моделей типа Data Vault. От этой неправильности так просто не избавиться, но и оставлять проблему без внимания тоже неправильно.
Начнем издалека, с понимания данных и задач DWH ...
Заметка содержит несколько кейсов с индексами для больших таблиц.
Короткие индексы работают чуть быстрее, чем полные, но основное преимущество – компактность.
Как сократить затраты на дисковое пространство в EDH конструктивным образом.
В заметке дан краткий обзор стратегий переноса горячих изменений (CDC) с помощью запросов к БД.
Способ интеграции довольно архаичный, но при отсутствии возможности реализовать более технологичные варианты ещё применяется. Оперативность переноса достигается запуском процесса с коротким интервалом: раз в 5 минут, каждую минуту, нон-стоп.
В статье представлены рекомендации для формирования культуры владения сложными комплексами знаний.
В статье содержится информация для организации быстрой вставки в таблицы PG.
Быстрая вставка может потребоваться в самых разных случаях …
В статье рассказывается о проблеме обновления данных в учётных системах и полезности учёта состояний справочных сущностей.
Немного информации на тему интеграции с сохранением консистентности данных на стороне потребителя.