ChatGPT в Телеграм

Эволюция инженерии данных

От первых хранилищ до ИИ и современных платформ (1990–2026)

Эволюция инженерии данных

1. Реляционные базы данных (СУБД)

Технологии и годы появления:

Oracle Database (1979, зрелость в 90-х) — Oracle Corp.

Microsoft SQL Server (1989, зрелость в 90-х) — Microsoft.

MySQL (1995) — MySQL AB.

PostgreSQL (1996) — Калифорнийский университет в Беркли / Сообщество.

IBM DB2 (1983, зрелость в 90-х) — IBM.

Примеры применения: OLTP (обработка онлайн-транзакций), банковские системы, ERP, CRM, управление запасами, бэкенды электронной коммерции.

Основные моменты:

  • Соответствие принципам ACID (атомарность, согласованность, изоляция, долговечность) стало золотым стандартом.
  • SQL (Structured Query Language) стал универсальным языком обработки данных.
  • Нормализация (1NF–3NF) была доминирующей философией проектирования.
  • Клиент-серверная архитектура заменила ориентированный на мейнфреймы подход к доступу к данным.
  • Хранимые процедуры и триггеры обеспечивали реализацию бизнес-логики на стороне сервера.
  • Стратегии индексирования (B-деревья, хеширование) стали критически важны для повышения производительности.

2. Хранилища данных (первое поколение)

Технологии и годы появления:

Teradata (1984, активное развитие в 90-х) — Teradata Corp.

Oracle Data Warehouse (1990-е) — Oracle Corp.

IBM Netezza (концепция, конец 1990-х) — IBM.

Примеры применения: корпоративная отчетность, исторический анализ, информационные панели для руководителей, соблюдение нормативных требований.

Основные моменты:

  • Билл Инмон опубликовал книгу «Создание хранилища данных» (1992), предложив нисходящий нормализованный подход.
  • Ральф Кимбалл опубликовал книгу «Инструментарий для хранилищ данных» (1996), популяризировав подход «снизу вверх» с использованием многомерных моделей.
  • Таблицы фактов и таблицы измерений стали общепринятым языком аналитики.
  • Были формализованы типы 1, 2 и 3 медленно изменяющихся измерений (SCD).
  • OLAP-кубы (MOLAP, ROLAP) позволили выполнять многомерный анализ и детализацию данных.

3. Инструменты ETL (первое поколение)

Годы развития технологий:

Informatica PowerCenter (1993).

IBM DataStage (1997).

Microsoft DTS для SQL Server (1998).

Talend (концепция, конец 1990-х).

Примеры применения: пакетное перемещение данных из OLTP-систем в хранилища данных, очистка данных и преобразование информации.

Если вы регулярно работаете с SQL, документацией, аналитикой или техническим контентом, удобным помощником может стать Бесплатный ChatGPT 5, Midjourney, Suno.

Он помогает быстро проверить запрос, разобраться с новой технологией, подготовить описание процесса или найти идеи для решения рабочих задач прямо в приложении MAX.

Основные моменты:

  • Доминирующим подходом был ETL (извлечение, преобразование, загрузка) — данные преобразовывались до загрузки в хранилище.
  • Ночные пакетные задания были нормой, а отчетность по схеме T+1 считалась приемлемой.
  • Визуальное проектирование конвейеров методом drag-and-drop стало стандартом корпоративных ETL-инструментов.
  • Контроль качества данных и их очистка были тесно интегрированы в процесс ETL.

🔷 Эпоха 2: Интернет, масштабирование и рождение больших данных (2000–2009)

4. Зрелость интеграции корпоративных данных

Технологии | Годы | Создатель

Microsoft SSIS | 2005 | Microsoft

SAP BW (Business Warehouse) | 2000-е | SAP

Oracle ODI | 2007 | Oracle

Ab Initio | 2000-е | Ab Initio

Примеры применения: сложные корпоративные ETL-процессы, интеграция данных в реальном времени, управление основными данными (MDM).

Основные моменты:

  • SSIS заменил DTS и стал де-факто инструментом ETL в экосистеме Microsoft.
  • Управление основными данными (MDM) возникло в связи с тем, что организации столкнулись с проблемой поиска «единого источника достоверной информации».
  • В компаниях появились должности, связанные с управлением данными и обеспечением их сохранности.

5. NoSQL-базы данных — революция бессхемных баз данных

Технологии | Год | Создатель

MongoDB | 2009 | MongoDB Inc

Apache CouchDB | 2005 | Apache

Apache Cassandra | 2008 | Facebook → Apache

Redis | 2009 | Salvatore Sanfilippo

Neo4j | 2007 | Neo4j Inc

HBase | 2008 | Apache (по мотивам статьи Google Bigtable)

Amazon DynamoDB | 2007 (статья) / 2012 (сервис) | Amazon

Примеры применения: веб-приложения масштабируемого уровня, ленты социальных сетей, хранилища сессий, управление контентом, кэширование в реальном времени, графовые связи, интернет вещей.

Основные моменты:

  • Теорема CAP (согласованность, доступность, устойчивость к разделению — выберите любые два свойства) стала одним из ключевых принципов проектирования распределенных систем.
  • Документные хранилища (MongoDB), столбцовые хранилища (Cassandra, HBase), хранилища типа «ключ-значение» (Redis, DynamoDB) и графовые хранилища (Neo4j) решали разные классы задач.
  • Технология Schema-on-Read дополнила Schema-on-Write для работы с гибкими неструктурированными данными.
  • Горизонтальное масштабирование (шардинг, репликация) стало ответом на потребность в росте крупных веб-приложений.
  • BASE (Basically Available, Soft State, Eventually Consistent) возникла как альтернатива ACID.

6. Экосистема Hadoop — начало эры больших данных

Год создания технологий

Google GFS Paper — 2003, Google

Google MapReduce Paper — 2004, Google

Apache Hadoop (HDFS + MapReduce) — 2006, Yahoo → Apache

Apache Pig — 2008, Yahoo → Apache

Apache Hive — 2009, Facebook → Apache

Apache Sqoop — 2009, Apache

Apache Flume — 2009, Cloudera → Apache

Apache ZooKeeper — 2008, Yahoo → Apache

Примеры применения: обработка логов в петабайтном масштабе, анализ кликабельности, индексирование поисковых запросов, хранение данных в озере данных, крупномасштабная пакетная ETL-обработка.

Основные моменты:

  • «Три V» больших данных: объем, скорость и разнообразие.
  • HDFS обеспечивала распределенное отказоустойчивое хранилище на стандартном оборудовании.
  • MapReduce позволил выполнять параллельные вычисления на тысячах узлов.
  • Hive внедрил в Hadoop возможности выполнения запросов, аналогичные SQL (HiveQL), что сделало платформу более доступной для аналитиков.
  • Так появилась концепция «озера данных»: хранить все данные в исходном виде, а схему определять позже.
  • Дистрибутивы Hadoop (Cloudera CDH, Hortonworks HDP, MapR) способствовали коммерциализации экосистемы.
  • Java/JVM стала языком программирования по умолчанию для разработки решений в области больших данных.

При изучении экосистем Hadoop, Kafka, NoSQL и других технологий обработки данных бывает полезно быстро получить пояснение по сложному термину, архитектурному подходу или фрагменту кода.

В таких случаях удобным помощником может стать chatgpt max, который помогает оперативно разобраться в технических вопросах прямо в российском мессенджере MAX, не отвлекаясь на поиск информации в десятках разных источников.

7. Зарождение облачных вычислений

Год развития технологий:

Amazon S3 — 2006, AWS

Amazon EC2 — 2006, AWS

Google App Engine — 2008, Google

Примеры применения: масштабируемое объектное хранилище, эластичные вычисления, первые облачные приложения.

Основные моменты:

  • S3 коренным образом изменил экономику хранения данных благодаря оплате по факту использования и практически неограниченной масштабируемости.
  • Разделение хранения и вычислительных ресурсов было заложено уже на раннем этапе развития облачных технологий, хотя для полноценной реализации этой идеи потребовались годы.
  • Архитектурные решения, ориентированные на облачные технологии, начали оказывать значительное влияние на проектирование платформ данных.

🔷 Эпоха 3: Реальное время, облачные технологии и становление современного стека (2010–2016)

8. Потоковая обработка — конвейеры обработки данных в реальном времени

Технология | Год | Создатель

Apache Kafka | 2011 | LinkedIn → Apache

Apache Storm | 2011 | Twitter → Apache

Apache Samza | 2013 | LinkedIn → Apache

Apache Flink | 2014 | TU Berlin → Apache

Apache Spark Streaming | 2013 | UC Berkeley → Apache

Amazon Kinesis | 2013 | AWS

Примеры применения: потоковая передача событий в реальном времени, обнаружение мошенничества, интерактивные панели мониторинга, телеметрия IoT, CDC (захват изменений данных), анализ потоков кликов, отслеживание активности пользователей.

Основные моменты:

  • Kafka стала основой событийно-ориентированных архитектур благодаря распределенному журналу событий, темам, разделам и группам потребителей.
  • Архитектура Lambda (пакетная обработка + слой ускорения) была предложена Натаном Марзом в 2011 году для обработки как пакетных, так и потоковых данных.
  • Kappa Architecture (Джей Крепс, 2014) упростила этот подход, предложив рассматривать всё как поток данных.
  • Концепции Event Sourcing и Event-Driven Architecture стали важнейшими шаблонами проектирования современных платформ данных.
  • Обработка потоковых данных перешла из нишевого направления в массовое — стремление к достижению нулевого уровня обработки данных (T+0).

9. Apache Spark — унифицированный аналитический движок

Технологии и годы появления:

Apache Spark (1.0) — 2014, UC Berkeley AMPLab → Apache

Spark SQL — 2014, Apache

MLlib — 2014, Apache

GraphX — 2014, Apache

PySpark — 2014, Apache

Примеры применения: крупномасштабная пакетная обработка данных, интерактивный SQL-анализ, конвейеры машинного обучения, графовые вычисления и корпоративные ETL-процессы.

Основные моменты:

  • Вычисления в оперативной памяти в Spark были в 10–100 раз быстрее, чем в Hadoop MapReduce.
  • Абстракция RDD (Resilient Distributed Dataset), а позднее DataFrames и Datasets объединили пакетную и потоковую обработку данных.
  • PySpark сделал обработку больших данных более доступной для инженеров и аналитиков, работающих на Python.
  • Spark заменил MapReduce в роли основного вычислительного механизма для обработки больших данных.
  • Spark на YARN, Spark на Mesos и автономный режим Spark обеспечили гибкие варианты развертывания.

10. Облачные хранилища данных — технология, изменившая рынок аналитики

Технологии и годы появления:

Amazon Redshift — 2012, AWS

Google BigQuery — 2012, Google Cloud

Snowflake (GA) — 2014, Snowflake Inc.

Azure SQL Data Warehouse (позже Azure Synapse Analytics) — 2015, Microsoft

Примеры применения: облачная аналитика, выполнение запросов по требованию, BI-панели, обмен данными и многопользовательская аналитика.

Основные моменты:

  • Snowflake стала одним из первопроходцев в области разделения хранения данных и вычислительных ресурсов.
  • BigQuery предложил бессерверную аналитику с оплатой за выполненный запрос без необходимости управления инфраструктурой.
  • Redshift перенес технологию MPP (массовая параллельная обработка) в облако и существенно снизил стоимость аналитики.
  • Подход ELT (Extract, Load, Transform) постепенно вытеснил классический ETL: данные сначала загружаются в хранилище, а затем преобразуются средствами SQL.
  • Так сформировалась концепция современного стека данных, где облачное хранилище выступает центральным элементом экосистемы.

11. Столбцовые и OLAP-базы данных

Технологии и годы появления:

Apache Druid — 2012, MetaMarkets → Apache

ClickHouse — 2016, Yandex → ClickHouse Inc.

Apache Pinot — 2015, LinkedIn → Apache

Vertica — 2005 (активное развитие в 2010-х), HP / Micro Focus

Amazon Redshift Spectrum — 2017, AWS

Примеры применения: OLAP-запросы с откликом менее секунды, аналитика в реальном времени, исследование миллиардов строк и анализ временных рядов.

Основные моменты:

  • Столбцовое хранение данных значительно улучшило степень сжатия и производительность аналитических запросов.
  • ClickHouse представила семейство движков MergeTree, обеспечивающих высокую скорость обработки данных и выполнения запросов.
  • Druid и Pinot ориентированы на аналитику в режиме реального времени с задержкой менее секунды.
  • Масштабное внедрение OLAP стало возможным без значительных инфраструктурных затрат.
  • Векторизованное выполнение запросов и SIMD-оптимизация стали отраслевым стандартом.

12. Оркестрация конвейеров данных

Технологии и годы появления:

Apache Oozie — 2011, Yahoo → Apache

Luigi — 2012, Spotify

Apache Airflow — 2014 (open source с 2015 года), Airbnb → Apache

Azkaban — 2012, LinkedIn

Примеры применения: планирование процессов на основе DAG, управление зависимостями, оркестрация ETL-процессов и координация ML-конвейеров.

Основные моменты:

  • Airflow стал отраслевым стандартом оркестрации конвейеров обработки данных.
  • Направленные ациклические графы (DAG) превратились в основную модель описания процессов обработки данных.
  • Подход «конфигурация как код» заменил XML-конфигурации.
  • Были стандартизированы механизмы интеграции операторов, сенсоров, хуков и подключений.

13. Инструменты бизнес-аналитики и визуализации

Технологии и годы появления:

Tableau — 2003 (пик роста в 2010-х), Tableau Software

Looker — 2012, Looker Inc. (позже Google)

Metabase — 2015, Metabase Inc.

Apache Superset — 2015, Airbnb → Apache

Power BI — 2015, Microsoft

Mode Analytics — 2013, Mode

Redash — 2013, Арик Фраймович

Примеры применения: самообслуживаемая аналитика, управленческие панели, встроенная аналитика, исследование данных и отчетность.

Основные моменты:

  • Пользователи получили возможность самостоятельно анализировать данные без постоянного участия инженеров.
  • LookML представил концепцию семантического слоя, в котором метрики определяются один раз и используются во всех отчетах.
  • Появилась дискуссия о том, где должен располагаться слой метрик: в BI-системе, dbt или отдельном сервисе.
  • Встроенная аналитика превратилась в полноценную функцию продукта.
  • Metabase и Superset стали популярными альтернативами дорогостоящим корпоративным BI-системам.

🔷 Эпоха 4: Современный стек данных и DataOps (2017–2022)

14. dbt (Инструмент построения данных) — Слой преобразования

Технологический год: Создатель dbt Core 2016 (версия 1.0 в 2021 году) dbt Labs (Fishtown Analytics) dbt Cloud 2019 dbt Labs

Примеры применения: преобразование данных на основе SQL, моделирование данных, тестирование, документирование, отслеживание происхождения данных, управление данными.

Основные моменты:

  • Компания dbt внедрила лучшие практики разработки программного обеспечения в аналитику: контроль версий, тестирование, CI/CD, модульность.
  • «Аналитическая инженерия» зародилась как новая дисциплина — мост между инженерией данных и аналитикой.
  • В обиход вошли такие слова, как модели, источники, тесты, макросы, снимки состояния и начальные значения.
  • Функция ref() и выполнение на основе DAG-графа исключили необходимость ручного управления зависимостями.
  • dbt Mesh и межпроектные ссылки обеспечили масштабное управление несколькими командами.
  • Пакеты, созданные сообществом (dbt-utils, dbt-expectations), сформировали богатую экосистему.

15. Современная оркестровка (второе поколение)

Технологии Год Создатель Prefect 2018 Prefect Inc Dagster 2019 Elementl MageAI 2022 Mage Inc Apache Airflow 2.x 2020 Apache Temporal 2020 Temporal Inc Kestra 2022 Kestra

Примеры применения: оркестровка с учетом данных, конвейеры обработки данных на основе активов, гибридная пакетная/потоковая обработка, рабочие процессы машинного обучения, программно-определяемые активы.

Основные моменты:

  • Дагстер представил концепцию «программно-определяемых активов» — декларативный подход, ориентированный на активы.
  • Prefect упростил сложную структуру Airflow благодаря динамическим рабочим процессам и улучшенной обработке ошибок.
  • Компания MageAI предложила интегрированную среду разработки в формате блокнота для создания конвейеров обработки данных со встроенными функциями тестирования, блоками и датчиками.
  • В Airflow 2.x добавлены API TaskFlow, улучшен планировщик и более надежная поддержка Kubernetes.
  • Начался переход от «ориентированной на задачи» к «ориентированной на данные и ресурсы» оркестрации.

16. Качество данных и наблюдаемость

Пример. Моделирование методом Монте- Карло
Пример. Моделирование методом Монте- Карло

Технологии Год Создатель Большие надежды 2018 Сверхпроводящий метод Монте-Карло 2019 Данные Монте-Карло Soda 2021 Данные Soda Elementary 2022 Elementary Data Тесты dbt (встроенные) 2020 Лаборатории dbt Anomalo 2020 Anomalo

Примеры применения: проверка данных, обнаружение аномалий, выявление отклонений схемы, мониторинг актуальности данных, контракты данных, обеспечение соблюдения соглашений об уровне обслуживания (SLA).

Основные моменты:

  • «Наблюдаемость данных» стала отдельной категорией — идея о том, что конвейеры обработки данных нуждаются в мониторинге на уровне микросервисов.
  • В книге «Большие надежды» понятие «ожидания» было представлено как декларативные, многократно используемые правила качества данных.
  • Возникли «контракты на данные»: производители и потребители договариваются о схеме, актуальности и гарантиях качества.
  • Пять основных принципов наблюдаемости данных: актуальность, объем, схема, распределение, происхождение.
  • Переход от реагирования на возникающие проблемы к проактивному управлению качеством данных.

17. Сбор данных и CDC (современная эпоха)

Технологии Год Создатель Fivetran 2012 (зрелость в конце 2010-х) Fivetran Inc Stitch Data 2016 Talend Airbyte 2020 Airbyte Inc Debezium (CDC) 2016 Red Hat RudderStack 2020 RudderStack Inc Segment 2012 (зрелость в конце 2010-х) Twilio/Segment Meltano 2019 GitLab → Meltano Inc Hevo Data 2017 Hevo

Примеры применения: автоматизированный сбор данных из SaaS/API/баз данных, CDC из операционных баз данных, отслеживание событий, платформы данных о клиентах.

Основные моменты:

  • Fivetran популяризировал «управляемый ELT» — полностью автоматизированные коннекторы, не требующие написания кода для конвейера обработки данных.
  • Debezium вывела CDC на основе логов в массовое использование (на базе Kafka Connect).
  • Компания Airbyte предлагала коннекторы с открытым исходным кодом, использующие схему EL (Extract-Load).
  • RudderStack и Segment специализируются на сборе данных о событиях/поведении для анализа продуктов.
  • «Экономика разъемов» пережила бурный рост — более 300 готовых разъемов стали нормой.
  • Разработка стандартизированного разъема по протоколу Singer (tap/target).

18. Архитектура хранилища данных (Data Lakehouse Architecture)

Технологии, год появления и создатель:

Delta Lake — 2019, Databricks

Apache Iceberg — 2018 (GA около 2020 года), Netflix → Apache

Apache Hudi — 2019, Uber → Apache

Databricks Lakehouse Platform — 2020, Databricks

Примеры применения: унифицированная пакетная и потоковая обработка данных на единой копии данных, ACID-транзакции в озерах данных, путешествия во времени, эволюция схемы и версионирование данных.

Основные моменты:

  • Lakehouse объединил гибкость озер данных (S3/GCS) с гарантиями ACID, характерными для хранилищ данных.
  • Delta Lake, Iceberg и Hudi стали тремя конкурирующими открытыми табличными форматами для Lakehouse-платформ.
  • В объектных хранилищах стали возможны путешествия во времени (запросы к историческим снимкам данных), эволюция схемы и изменение структуры разделов.
  • Начались дискуссии вокруг открытых табличных форматов, при этом Iceberg получил широкое распространение благодаря своей независимости от конкретных поставщиков.
  • Выбор между подходами Copy-on-Write и Merge-on-Read стал важным архитектурным решением при проектировании платформ данных.

19. Каталоги данных и управление метаданными

Технологии, год появления и создатель:

Apache Atlas — 2015, Hortonworks → Apache

Amundsen — 2019, Lyft

DataHub — 2020, LinkedIn → Acryl Data

OpenMetadata — 2021, Collate

Atlan — 2020, Atlan

Alation — 2012 (активный рост в конце 2010-х), Alation Inc.

Collibra — 2008 (активный рост в конце 2010-х), Collibra

Примеры применения: поиск данных, управление метаданными, визуализация происхождения данных, управление данными, контроль доступа и документирование.

Основные моменты:

  • Поиск и анализ данных стали критически важными, поскольку организации начали работать с тысячами таблиц и аналитических панелей.
  • Отслеживание происхождения данных на уровне столбцов позволило анализировать влияние изменений схемы на зависимые системы.
  • Управление метаданными эволюционировало от пассивных реестров к активным платформам автоматизации.
  • OpenMetadata и DataHub стали лидерами движения за развитие открытых платформ управления метаданными.
  • Интеграция с dbt, Airflow и BI-инструментами стала обязательным требованием для современных каталогов данных.

20. Управление данными и конфиденциальность

Технологии и стандарты:

GDPR — 2018, регламент Европейского союза

CCPA — 2020, законодательство штата Калифорния

Apache Ranger — 2014, Apache

Unity Catalog (Databricks) — 2022, Databricks

Immuta — 2015, Immuta Inc.

Privacera — 2019, Privacera Inc.

Примеры применения: контроль доступа, классификация данных, управление персональными данными, RBAC/ABAC, анонимизация, аудит и обеспечение соответствия нормативным требованиям.

Основные моменты:

  • GDPR и CCPA заставили организации рассматривать управление данными как одну из ключевых инженерных задач.
  • Управление доступом на основе ролей (RBAC) и атрибутов (ABAC) стало отраслевым стандартом.
  • Обнаружение персональных данных и автоматическая анонимизация (хеширование, маскирование, токенизация) стали обязательными компонентами современных платформ данных.
  • Unity Catalog обеспечил централизованное управление таблицами, моделями машинного обучения и файлами.
  • Контракты на данные и модели владения данными формализовали обязанности между производителями и потребителями данных.

21. Хранилища признаков и разработка машинного обучения

Технологии, год появления и создатель:

Feast — 2019, Gojek → Linux Foundation

Tecton — 2020, Tecton Inc.

Hopsworks — 2018, Logical Clocks

SageMaker Feature Store — 2020, AWS

Vertex AI Feature Store — 2021, Google Cloud

Примеры применения: управление признаками машинного обучения, предоставление признаков в онлайн- и офлайн-режимах, повторное использование признаков, корректные объединения данных на определенный момент времени и конвейеры подготовки признаков.

Основные моменты:

  • Хранилища признаков (Feature Stores) помогли решить проблему расхождения между обучением модели и ее использованием в продакшене.
  • Архитектура предоставления признаков в онлайн-режиме с низкой задержкой и в офлайн-режиме для пакетной обработки стала отраслевым стандартом.
  • Повторное использование признаков разными командами позволило сократить дублирование вычислений.
  • Использование механизмов временных срезов обеспечило корректное формирование обучающих выборок и предотвратило утечку данных.

22. Обратный ETL и операционная аналитика

Технологии, год появления и создатель:

Census — 2020, Census Inc.

Hightouch — 2020, Hightouch Inc.

Grouparoo (устарел) — 2020, Grouparoo

RudderStack Reverse ETL — 2021, RudderStack Inc.

Примеры применения: синхронизация данных из хранилища с CRM-системами, рекламными платформами, email-инструментами и платформами взаимодействия с клиентами.

Основные моменты:

  • Обратный ETL замкнул цикл движения данных: хранилище данных → операционные системы.
  • Хранилище данных стало единым источником достоверной информации для маркетинга, продаж и клиентской поддержки.
  • Сегментация аудитории, скоринг лидов и персонализация стали использовать модели данных, сформированные непосредственно в хранилище.

🔷 Эпоха 5: Разработка данных с учетом ИИ и конвергенция платформ (2023–2026)

23. Инженерия данных с использованием искусственного интеллекта

Технологии, год появления и создатель:

ChatGPT / GPT-4 — 2022–2023, OpenAI

Claude — 2023–2026, Anthropic

GitHub Copilot — 2021, GitHub / OpenAI

Claude Code — 2024–2025, Anthropic

Cursor — 2023, Cursor Inc.

Примеры применения: написание SQL-запросов и моделей dbt с помощью ИИ, отладка конвейеров данных, генерация документации, анализ кода, моделирование данных и преобразование естественного языка в SQL.

Основные моменты:

  • Большие языковые модели (LLM) изменили подход инженеров данных к написанию SQL-запросов, моделей dbt и кода для конвейеров обработки данных.
  • Парное программирование с использованием ИИ стало распространенной практикой: инженеры формулируют запросы, проверяют результаты и вносят корректировки.
  • Интерфейсы преобразования естественного языка в SQL перешли из исследовательской стадии в промышленную эксплуатацию.
  • Использование ИИ для контроля качества данных, обнаружения аномалий и анализа первопричин стало практически применимым в реальных системах.
  • Благодаря настройке навыков, агентов и системных инструкций появились специализированные помощники для разработки и сопровождения платформ данных.

24. Инфраструктура векторных баз данных и векторных представлений

Технологии: Pinecone — 2021, Pinecone Inc; Weaviate — 2021, Weaviate; Milvus — 2019 (развитие в 2023+), Zilliz; Chroma — 2022, Chroma Inc; Qdrant — 2021, Qdrant; pgvector (PostgreSQL) — 2021, Andrew Kane; ClickHouse HNSW Indexes — 2023, ClickHouse Inc.

Примеры применения: семантический поиск, RAG (генерация с расширенными возможностями поиска), рекомендательные системы, поиск по сходству, хранение векторных представлений изображений/текста.

Основные моменты:

  • Волна GenAI создала новую задачу в области инженерии данных: внедрение конвейеров обработки данных.
  • HNSW (Hierarchical Navigable Small World) и IVF стали стандартными типами индексов для векторного поиска.
  • В традиционных базах данных (PostgreSQL, ClickHouse) была добавлена встроенная поддержка векторного поиска.
  • В настоящее время инженеры данных управляют процессами генерации, индексирования и проверки актуальности данных наряду с традиционными конвейерами обработки данных.
  • Архитектуры RAG сделали векторные базы данных ключевой частью инфраструктуры приложений искусственного интеллекта

25.Инфраструктура рекомендательных систем

Технологии: Gorse — 2021, Gorse.io; Merlin (NVIDIA) — 2021, NVIDIA; TensorFlow Рекомендательные системы — 2020, Google; пользовательская двухэтапная схема (полнота + ранжирование) — 2020-е, отраслевые тенденции.

Примеры использования: персонализированные рекомендации по товарам, поиск контента, предложения похожих товаров, совместная фильтрация товаров и действий пользователя.

Основные моменты:

  • Двухэтапная архитектура (отбор кандидатов → ранжирование) стала производственным стандартом.
  • Отбор кандидатов (recall): коллаборативная фильтрация, контентная фильтрация, сходство встраивания (поиск с помощью искусственной нейронной сети).
  • Ранжирование: XGBoost, модели глубокого обучения, оценивающие кандидатов, которых удалось отобрать.
  • Хранилища признаков + потоки событий в реальном времени + векторные индексы составляют платформу данных recsys.
  • Варианты с открытым исходным кодом, такие как Gorse, предоставляли готовые решения, в то время как крупномасштабные платформы создавали системы на заказ.

26. Зрелость хранилищ данных и форматов открытых таблиц

Эволюция инженерии данных

Технологии: Apache Iceberg 2.0 — 2024, Apache; Delta Lake 3.x / UniForm — 2023–2024, Databricks; Apache XTable (OneTable) — 2023, Apache; Snowflake Iceberg Tables — 2023, Snowflake; Polaris Catalog (Iceberg) — 2024, Snowflake → Apache.

Примеры применения: совместимость нескольких движков, независимый от поставщика формат таблиц, кросс-облачная аналитика, открытый обмен данными.

Основные моменты:

  • Apache Iceberg стал победителем в категории открытых таблиц, его также используют Snowflake, AWS, Google и Databricks.
  • В UniForm и XTable решена проблема совместимости форматов — запись один раз, чтение из любого движка.
  • Критерием выбора платформ данных стало различие между «открытой» и «проприетарной» архитектурой.
  • Сервис «каталог как услуга» (Polaris, Unity Catalog, Nessie) стал уровнем управления для lakehouse-платформ

27. Зрелость технологий реального времени и потоковой передачи данных

Технологии: Apache Kafka (режим KRaft) — 2022, Apache; Confluent Cloud — 2017 (зрелая версия 2020-х), Confluent; Apache Flink (зрелая версия) — 2020-е, Apache; Redpanda — 2020, Redpanda Inc; RisingWave — 2022, RisingWave Inc; Materialize — 2020, Materialize Inc; WarpStream — 2023, WarpStream → Confluent.

Примеры применения: потоковая обработка SQL, материализованные представления поверх потоков, обработка с однократным выполнением, Kafka без ZooKeeper, экономичная потоковая обработка.

Основные моменты:

  • Kafka исключила зависимость от ZooKeeper (режим KRaft) — упрощение операций.
  • Потоковая обработка SQL (Flink SQL, RisingWave, Materialize) сделала потоковую обработку доступной для пользователей SQL.
  • Redpanda предложила совместимую с Kafka альтернативу на основе C++ с меньшей задержкой и более простыми операциями.
  • Граница между «пакетной» и «потоковой» обработкой продолжала размываться — инкрементальная обработка стала методом по умолчанию.

28. Контракты на данные и сети данных

Технологии и фреймворки: Data Mesh (концепция) — 2019–2022, Жамак Дехгани / Thoughtworks; контракты данных (концепция) — 2022+, Эндрю Джонс / Community; Schemata — 2022, Community; Buf (управление Protobuf) — 2020, Buf Technologies.

Примеры применения: децентрализованное владение данными, предметно-ориентированные платформы данных, управление схемами, соглашения между производителем и потребителем.

Основные моменты:

  • Концепция Data Mesh предложила 4 принципа: владение доменом, данные как продукт, платформа самообслуживания, федеративное управление.
  • Формализованы договоры на передачу данных: схема, соглашения об уровне обслуживания, свежесть, гарантии качества между производителями и потребителями.
  • Дискуссия между централизованными группами по работе с данными и группами, ориентированными на конкретную предметную область, обострилась.
  • Большинство организаций внедрили «прагматичную сеть» — централизованная команда разработчиков платформы + владение данными в предметной области.

29. Унифицированные механизмы обработки запросов и вычислительные ресурсы

Технологии: Trino (ранее PrestoSQL) — 2019 (форк), сообщество Trino; Presto — 2012, Facebook → Linux Foundation; DuckDB — 2019 (значительный рост с 2022 года), CWI Amsterdam; Polars — 2021, Ritchie Vink; Apache DataFusion — 2019, Apache; Velox — 2022, Meta.

Примеры применения: федеративные запросы к различным источникам данных, локальная аналитика, встроенный OLAP-анализ, альтернатива DataFrame, встроенная аналитика.

Основные моменты:

  • DuckDB стала «SQLite для аналитики» — встроенным, не зависящим от конкретных процессов OLAP-сервисом для локальной разработки и CI/CD.
  • Проект Polars предложил невероятно быструю библиотеку DataFrame на основе Rust, бросив вызов доминированию pandas.
  • Trino позволил выполнять федеративные запросы к S3, базам данных и API из единого SQL-интерфейса.
  • Тенденция к использованию инструментов обработки данных на основе Rust (Polars, DataFusion, delta-rs) привела к ускорению производительности.

30. Инфраструктура как код для данных

Технологии: Terraform — 2014 (зрелость 2020-х), HashiCorp; Pulumi — 2018, Pulumi Inc; AWS CDK — 2019, AWS; Kubernetes (для данных) — 2014 (зрелость для данных 2020-х), Google → CNCF; Helm Charts (инструменты для работы с данными) — 2016, CNCF.

Примеры применения: обеспечение инфраструктуры данных (хранилища, кластеры, IAM, сети), GitOps для платформ данных, воспроизводимые среды.

Основные моменты:

  • Концепция «платформа данных как код» стала общепринятой: каждый ресурс находится под контролем версий и является воспроизводимым.
  • Модули Terraform для ClickHouse Cloud, Snowflake, Redshift и Kafka стали стандартными.
  • Kubernetes стал целевой платформой для развертывания Airflow, Spark, Flink и пользовательских сервисов обработки данных.
  • Рабочие процессы GitOps (запрос на слияние → проверка → планирование → применение) обеспечили строгость в процессе изменений инфраструктуры.

31. Семантические слои и хранилища метрик

Технологии: dbt Semantic Layer (MetricFlow) — 2022–2023, dbt Labs; Cube.js — 2019, Cube Dev; Minerva (Airbnb) — 2020, Airbnb (внутренняя разработка); Headless BI (концепция) — 2022+, отрасль.

Примеры использования: централизованное определение метрик, согласованные KPI во всех инструментах, API метрик, безголовая бизнес-аналитика.

Основные моменты:

  • Семантический слой решил проблему «почему мои цифры не совпадают?» на разных панелях мониторинга.
  • MetricFlow (dbt) стандартизирует определения метрик: показатели, измерения, сущности и временные интервалы.
  • Headless BI: метрики, предоставляемые через API и доступные для любого интерфейса (инструмент BI, приложение, бот Slack).
  • Метрический слой стал первостепенным компонентом современного стека данных.

32. Обмен данными и сотрудничество

Технологии: Snowflake Data Marketplace — 2019, Snowflake; Databricks Delta Sharing — 2021, Databricks; AWS Data Exchange — 2019, AWS; Google Analytics Hub — 2021, Google Cloud.

  1. Обмен данными и сотрудничество
  • Обмен данными и сотрудничество

Примеры применения: обмен данными между организациями, монетизация данных третьими сторонами, B2B-продукты на основе данных.

Основные моменты:

  • Стал возможен обмен данными без их перемещения (оперативные, управляемые запросы между учетными записями).
  • Наступила эпоха монетизации данных: организации продают тщательно отобранные наборы данных как товары.
  • Открытые протоколы (Delta Sharing) призваны предотвратить зависимость от конкретного поставщика.

33. DataOps, проектирование платформ и опыт разработчиков

Технологии и практики: SQLMesh — 2023, Tobiko Data; SQLFluff — 2019, сообщество; pre-commit hooks для данных — 2020-е, сообщество; GitHub Actions для данных — 2020-е, GitHub; Slim CI (dbt) — 2021, dbt Labs; разработка платформы данных — 2023+, тенденции отрасли.

Примеры применения: CI/CD-конвейеры данных, проверка синтаксиса SQL-запросов, автоматизированное тестирование, повышение производительности разработчиков, самообслуживание платформы.

Основные моменты:

  • DataOps применяет принципы DevOps: CI/CD, автоматизированное тестирование, мониторинг и реагирование на инциденты, связанные с данными.
  • SQLMesh предложил альтернативу dbt со встроенным управлением изменениями, виртуальными средами и инкрементальным обновлением по умолчанию.
  • Команды разработчиков платформы создали внутренние платформы самообслуживания для разработчиков (IDP) для работы с данными.
  • Оптимизация затрат стала критически важной: FinOps для данных (мониторинг расходов на хранилище данных, оптимизация запросов).

📊 Краткий обзор хронологии внедрения технологий

1990 — СУБД (Oracle, SQL Server, MySQL, PostgreSQL); хранилища данных (Teradata, Kimball/Inmon); ETL (Informatica, DataStage).

2000 — Корпоративная бизнес-аналитика (Business Objects, MicroStrategy); MDM и управление данными (ранний этап); SSIS, SAP BW.

2003 — Статья о GFS (Google).

2004 — Статья о MapReduce (Google).

2005 — CouchDB, Vertica.

2006 — Hadoop, Amazon S3/EC2.

2007 — Статья о Neo4j, Dynamo.

2008 — Cassandra, HBase, ZooKeeper.

2009 — MongoDB, Redis, Hive, Pig, Sqoop.

2010 — ЭПОХА БОЛЬШИХ ДАННЫХ.

2011 — Kafka, Storm.

2012 — Redshift, BigQuery, Presto, Druid, Luigi.

2013 — Flink, Spark Streaming, Kinesis, Samza.

2014 — Spark 1.0, Snowflake, Airflow, Terraform, Kubernetes.

2015 — Metabase, Superset, Power BI, Pinot; dbt Labs основана в 2016 году.

2016 — ClickHouse, Debezium, dbt Core, Stitch.

2017 — ЭПОХА СОВРЕМЕННЫХ СТЕКОВ ДАННЫХ.

2018 — Great Expectations, Prefect, GDPR, Iceberg.

2019 — Delta Lake, Hudi, Dagster, DuckDB, Trino, концепция Data Mesh.

2020 — Airbyte, RudderStack, Census, Hightouch, Materialize, Redpanda.

2021 — Feast, Copilot, Pinecone, Polars, OpenMetadata, Gorse.

2022 — MageAI, Chroma, dbt Semantic Layer, Unity Catalog, KRaft.

2023 — ЭРА AI-NATIVE; ChatGPT/Claude для инженерии данных; DuckDB в центре внимания, рост Polars; SQLMesh, Apache XTable, WarpStream; векторы ClickHouse HNSW.

2024 — Claude Code, Cursor; Iceberg 2.0, Delta UniForm; Polaris Catalog; конвергенция открытого формата таблиц.

2025 — Конвейеры и помощники, изначально созданные для ИИ; пользовательские платформы данных на базе ИИ; зрелость потокового SQL; рост продуктов данных и рынка.

2026 — Агентная инженерия данных (агенты ИИ, создающие конвейеры); полностью декларативные платформы данных; универсальная совместимость форматов таблиц; встроенный ИИ на каждом уровне стека.

🔑 Ключевые парадигматические сдвиги для инженеров данных

  • Хранение: от локального SAN/NAS к облачному объектному хранилищу (S3/GCS), 2006–2015.
  • Обработка: от MapReduce (Java) к Spark (Python/SQL), 2014–2018.
  • Преобразование: от ETL (преобразование перед загрузкой) к ELT (преобразование в хранилище), 2015–2020.
  • Оркестрация: от заданий Cron и ручных скриптов к оркестраторам на основе DAG (Airflow), 2015–2020.
  • Хранение данных: от локального MPP (Teradata) к облачным решениям (Snowflake/BQ/ClickHouse), 2012–2020.
  • Качество данных: от ручных выборочных проверок к автоматической проверке (тесты GX, dbt), 2018–2022.
  • Форматы: от CSV/Parquet на S3 к открытым форматам таблиц (Iceberg/Delta), 2019–2024.
  • Схема: от схемы только при записи к схеме при чтении и эволюции схемы, 2010–2020.
  • Архитектура: от монолитного хранилища данных к Lakehouse + Data Mesh, 2019–2024.
  • Кодирование: от ручного написания SQL/Python к работе с помощью ИИ (Copilot/Claude), 2022–2026.
  • Конвейеры: от ориентированных на задачи DAG-графов к ориентированным на активы декларациям, 2020–2025.
  • Управление: от дополнительного внимания и соответствия требованиям к первоклассной инженерной задаче, 2018–2024.
  • Пакетная обработка: от T+1 (ежедневно) к потоковой обработке, близкой к реальному времени, 2011–2025.

🧭 Где мы находимся сейчас (2026): Инструментарий инженера данных

Современный инженер по обработке данных в 2026 году, как правило, работает с некоторой комбинацией следующих инструментов:

  • Хранение данных: S3/GCS + открытые форматы таблиц (предпочтительно Iceberg) или облачное хранилище (Snowflake, BigQuery, ClickHouse Cloud).
  • Для преобразования SQL-запросов используются dbt Core/Cloud или SQLMesh; для ресурсоемких вычислений — Spark/Polars.
  • Оркестрация: Airflow, Dagster, MageAI или Prefect.
  • Для приема данных: Fivetran/Airbyte для коннекторов SaaS; Debezium/Kafka для CDC; RudderStack для данных о событиях.
  • Качество: для проверки используются тесты Great Expectations, dbt-тесты или Soda; для оценки наблюдаемости — Monte Carlo или Elementary.
  • BI-платформы: Metabase, Looker, Power BI или Superset.
  • Метаданные: OpenMetadata, DataHub или Atlan.
  • Инфраструктура: Terraform/Pulumi, Kubernetes, GitHub Actions.
  • Инструменты ИИ: Claude/Claude Code, Cursor, Copilot для ускорения разработки.
  • Vectors & RecSys: pgvector, ClickHouse HNSW, Pinecone для нагрузок с векторными представлениями; Gorse или пользовательские настройки для рекомендаций.
  • Управление: контракты данных, RBAC, классификация персональных данных, семантические уровни.

Эта роль эволюционировала от «человека, который пишет SQL-запросы и перемещает данные» до инженера платформы, который проектирует, создает и эксплуатирует самообслуживаемую инфраструктуру данных — все чаще с участием ИИ на каждом этапе.

Для задач инженерии данных удобно держать под рукой chatgpt в max — ChatGPT в российском мессенджере MAX: генерация SQL, разбор схем и помощь с конвейерами.

55
11