Построить наконец-то нормальную аналитику, с интерактивными дашбордами и базами данных вместо гугл табличек — это как подобрать подходящие очки. Сразу видишь все детали и каждый листик на дереве и поражаешься, как жил без этого раньше. Но иногда чуда не происходит, и в очках видно еще хуже, чем без них, а аналитика приносит больше запар, чем пользы…
А почему выбрали Airflow а не что-то типа Prefect или Mage в этом кейсе небольшой компании? Не будет ли потом Airflow поддерживать будет сложнее? Спрашиваю, потому что сама работаю в небольшой компании, где делаю все это сама, но оркестратора пока нет. Документация и 1 база данных в BigQuery есть :)
и еще вопрос: кто будет заниматься поддержкой созданной вами системы?
Airflow выбрал заказчик, поэтому мы его и использовали)
Если на проект придет новый человек, ему действительно может быть сложно вникнуть, потому что источников данных там очень много. Но мы будем готовы обучить и помочь разобраться.
Поддержкой системы занимаемся мы — сами построили, сами и поддерживаем. Если заказчик захочет развивать свой внутренний отдел аналитики, передадим ему все доступы и документацию, и тогда это задачей будет заниматься он сам.