С кем работает DWH аналитик и что делает

Выбираете куда свичнуться или какую профессию освоить, если сильно хочется работать с данными?

Продакт-менеджер линейки курсов Data Science — Кузьмина Мария, поговорила с руководителем направления DWH аналитики в FinTech и преподавателем на курсе DWH OTUS — Татьяной Водовозовой.

DWH аналитик отвечает за сбор требований, проектирование и формулировку задач. Он работает над определением того, что и зачем необходимо сделать, а также определяет конечные результаты. DWH-аналитик предоставляет детальное описание того, как должно быть реализовано хранение.

Инженер данных, в свою очередь, реализует указанные задачи и использует выбранные инструменты, которые, возможно, были определены вместе с архитектором и аналитиком. Инженер данных переносит описание задач на соответствующие инструменты и технологии.

Таким образом, DWH-аналитик отвечает на вопросы "что" и "почему", а также предоставляет детальное описание требований и ожидаемого конечного результата. Инженер данных, в свою очередь, реализует задачи, используя выбранные инструменты, согласно описанным требованиям и указаниям аналитика.

Также DWH-аналитик может заниматься реверс-инжинирингом: разбирать между какими таблицами перетекают данные и каким трансформациям подвергаются. Здесь пригодится знание SQL и умение распутывать ETL процессы.

Обе роли, DWH-аналитика и инженера данных, являются важными для успешной работы при построении и развитии хранилища данных. DWH-аналитики определяют направление и сущность задач, в то время как инженеры данных обеспечивают реализацию и управление данными с использованием соответствующих инструментов.

Работа DWH-аналитика не ограничивается лишь построением хранилища данных и созданием первоначальной модели. После того, как хранилище данных начинает функционировать, бизнес не стоит на месте — меняются источники данных, возникают новые запросы и требуется развивать модель.

Для внедрения новых источников данных DWH-аналитик должен провести профилирование и согласование спецификаций. Затем необходимо проверить, как эти данные соответствуют модели данных хранилища, и при необходимости вносить соответствующие изменения в модель.

Новые источники данных подключаются для обогащения данных, чтобы удовлетворить потребности бизнеса в новых дашбордах и отчетах. В случае необходимости создания новой витрины или введения новых данных, аналитик работает с бизнесом, разрабатывая план, как эти данные могут быть получены из систем источников. Важно вникать в суть бизнес-процессов и смысл самих данных, чтобы правильно определить системы, из которых получать нужные данные.

Одной из важных задач DWH-аналитика является установление метрик качества данных, чтобы гарантировать, что данные достаточно надежны и точны. Кроме того, DWH-аналитик регулярно пересматривает метрики качества данных, чтобы определить, какие данные нужно добавить или удалить.

Таким образом, роль DWH-аналитика продолжается и развивается вместе с бизнесом. Он является неотъемлемой частью процесса развития данных и обеспечения качества информации для принятия управленческих решений.

Критерии зависят от конкретной ситуации. Оценка качества связана с объемом данных, частотой изменений в бизнесе и требованиями к витрине данных.

Одним из ключевых факторов является выбор концепции и подхода для построения хранилища данных. Существуют стандарты, такие как, подходы Инмона и Кимболла, которые предоставляют основополагающие подходы к моделированию данных.

Важно, чтобы DWH-аналитик был знаком с этими стандартами и умел применять их правильно. Хорошим показателем является наличие документации, где описывается выбранный подход для каждого слоя данных и как он применяется в проекте.

В целом, оценка качества работы DWH-аналитика осуществляется на основе его знания стандартов и подходов, а также его способности правильно применять их в построении и развитии хранилища данных. Опытные DWH-аналитики обладают солидным базовым знанием, которое позволяет им применять правильные подходы в соответствии с требованиями и особенностями каждого проекта.

DWH-аналитик работает в тесном взаимодействии с командой разработки и бизнесом. Согласовывает и защищает решение с архитектором. Кроме того, DWH-аналитик осуществляет коммуникацию с источниками и потребителями.

В качестве систем источников могут выступать как внутренние транзакционные системы, так и внешние системы или сервисы.Взаимодействие с ними включает работу по согласованию спецификаций обмена, изучения семплом данных, планирование и проведение интеграционного тестирования.

Потребитель, это, зачастую бизнес-заказчик, который пользуется результатом обработки данных в виде готовых дашбордов. Также, подготовленная информация может отправляться в другие системы, с которыми заключен договор на поставку.

Главная цель всего процесса развития DWH — предоставление достоверной информации отделам продаж, маркетинга, финансов и всем, кому необходимо в удобном и читаемом виде. Бизнесу не интересно, сколько раз данные переливались между слоями хранилища данных. ему важно во время получить нужную информацию, которую можно использовать для принятия управленческих решений. Поэтому DWH-аналитик участвует, в том числе в подготовке и проведении демо заказчику, показывая визуализации и отчеты были разработаны.

Я начала свою карьеру как разработчик и в поддержке 3-й линии, имея опыт работы с MS SQL. В процессе работы с базами данных, я все больше увлеклась DWH и стала работать в роли бизнес-аналитика, углубляясь в тему бизнес-хранилищ. Я была также занята проектами автоматизации, особенно в Ростелекоме, где занималась автоматизацией отчетности. В дальнейшем, мое развитие больше связано с компанией EPAM, где я развивалась как системный аналитик DWH, участвуя в проектах связанных с хранилищами данных.

Каждый новый проект приносит свой интересный случай и возможность применить то, что знаешь и узнать что-то новое.

Думаю, довольно сложно выделить какой-то определенный путь по переходу в направление DWH. Из моей практики общения с коллегами и подготовки менти, это были люди из разработки, люди у которых основное экономическое образование, руководители среднего звена, которые пользовались отчетностью и захотели разобраться как все устроено. Всех их объединяет любовь к выстраиванию структуры, интерес разбираться в бизнес-процессах и порождаемыми ими данными. и некий кайф от того, когда видишь результат слаженного работающего механизма в виде информативных дашбордов.

Основные принципы DWH:

Также важно учитывать, как хранилище будет расти и развиваться с увеличением объема данных и как изменения в бизнес-процессах компании повлияют на него.

Если вам интересно изучить DWH глубже, предлагаем ознакомиться с нашим практическим онлайн-курсом в рамках которого вы сможете изучить инженерию данных, освоить современные инструменты аналитики с открытым кодом и ELT-пайплайны. Научитесь создавать сквозные аналитические решения и многое другое. Узнать подробнее о курсе можно по ссылке.