Сборник крутых инструментов для работы с большими данными
Apache Druid - это аналитическая база данных реального времени, обеспечивающая низкую задержку запросов, высокий параллелизм, возможность многопользовательского доступа и мгновенную видимость потоковых данных. Druid позволяет нескольким конечным пользователям одновременно получать данные из хранилища без ущерба для производительности.
Apache Drill - это инструмент, который позволяет пользователям запрашивать разнообразные данные из множества источников в различных форматах, включая Hadoop-файлы, журналы сервера, базы данных NoSQL и облачные хранилища объектов.
HPCC Systems - это платформа обработки больших данных, основанная на открытом исходном коде и представляющая собой кластер компьютеров, спроектированный для обработки и управления большими объемами данных.
Apache Iceberg - это открытый формат таблицы, который облегчает управление данными в озерах путем отслеживания информации в файлах в таблицах, а не в каталогах. Исходно созданный Netflix для работы с петабайтными таблицами, Iceberg стал проектом Apache и широко используется в продакшене.
Apache Kylin - это распределенное хранилище информации и аналитическая платформа для больших данных, предоставляющая OLAP-аналитику для обработки огромных массивов данных на базе технологий Apache, таких как Hadoop, Hive, Parquet и Spark.
Kylin — это распределенное хранилище информации и аналитическая платформа для больших данных.
Samza — это система распределенной обработки потоков, созданная компанией LinkedIn и являющаяся в настоящее время проектом с открытым исходным кодом под управлением Apache. Система может запускаться поверх Hadoop YARN или Kubernetes, также предлагается вариант автономного развертывания. Согласно информации от разработчиков, Samza может обрабатывать "несколько терабайт" информации о состоянии данных с низкой задержкой и высокой пропускной способностью для быстрого анализа.
В своем канале я тестирую эти инструмент, welcome.