4-3 StarRocks 构建实时数仓的新探索

实时数仓 1.0 - Storm 架构：采用 Spout 和 Bolt 模式进行数据流处理。
实时数仓 2.0 - Lambda & Kappa 架构：Lambda 架构结合批处理和实时处理，Kappa 架构则仅使用实时处理，去除批处理层。
实时数仓 3.0 - Flink 架构：利用 Flink 进行数据采集、实时应用、分析、大屏展示、查询和推荐，数据源包括用户行为、业务数据、系统日志、爬虫数据等，通过 Kafka、Pulsar、Canal、Flume、Logstash、Debezium 等工具进行数据传输。

实时数仓新挑战：数据采集链路冗长、技术栈复杂、功能性缺失、数据更新能力弱、查询并发量低、去重困难。
StarRocks 在实时数仓生态定位：作为数据存储和分析引擎，直接连接数据源和实时应用，支持数据采集、实时数据摄入、实时数据更新、实时数据建模、实时数据分析等功能。
StarRocks 实时数仓能力：
- 实时数据摄入：支持直接订阅 Kafka 数据，提供 Flink-Connector 实现 Exactly Once 数据摄入，以及 Flink CDC 直接捕获 TP 数据变更。
- 实时数据更新：采用 PK 模型提供 Delete and Insert 更新方式，性能相比 Merge on Read 提升 3-15 倍。
- 实时数据建模：支持聚合模型、向量化引擎、实时 Join 能力，并提供物化视图实现抢一致性，支持 AdHoc 分析、固定报表、OLAP 分析等应用。
- 实时数据分析：生产后的数据可直接使用，支持实时、离线数据统一融合。

明细模型：通过主键排序和主键分组进行数据插入。
聚合模型：对数据进行聚合计算。
更新主键模型：通过主键进行数据更新。
StarRocks数据建模：支持 AdHoc 分析、固定报表、OLAP 分析等应用，并提供视图/物化视图建模，支持实时、批量构建、灵活增加/删除、Schema Change，使用时只需指定原始表，CBO 自动选择最优物化视图。

向量化引擎：通过改造数据结构和执行逻辑，利用 CPU 指令 AVX2 实现单条指令多条数据同时执行，提升 Filter、Group、Shuffle Join、Broadcast Join 效果分别为 5.1 倍、14.9 倍、3.7 倍、3.5 倍。
更多优化手段：包括低基数优化、延迟物化等，进一步提升查询性能。

查询数据量：对比 Primary Key（Delete and Insert）和 Unique Key（Merge on Read）两种更新方式，StarRocks 在导入过程和导入后均显著提升查询性能。

实时数仓新挑战：同前文。
Flink x StarRocks 实时数仓架构：通过 Flink CDC 改造数据传输链路，提升数据更新能力和查询性能。
StarRocks 宽表实时数仓建模方式：将非结构化数据传输与计算，以及结构化业务数据存储与分析，整合到 StarRocks 中，实现实时应用、实时分析、实时大屏、实时推荐、实时查询和实时预警。
StarRocks 星型/雪花模型实时数仓架构：将数据湖数据存储与分析，以及实时应用、实时分析、实时大屏、实时推荐、实时查询和实时预警，整合到 StarRocks 中，并采用星型或雪花模型进行数据建模。