字节基于HUDI的批流一体存储实践

背景与挑战

• 传统数仓架构存在批流分离、数据一致性难、多引擎支持复杂等问题。
• 批流一体架构通过统一SQL和存储支持实时构建与离线回溯，实现数据构建与数据分析一体化。

批流一体架构

• 批流一体SQL：一套SQL同时支持流式执行（实时构建）和批式执行（离线回溯），以及数据构建与数据分析。
• 批流一体存储：一份存储同时支持流式增量读写和批量读写，并支持高效OLAP查询和维表Join。

LAS (Lakehouse Analysis Service)

• 提供统一元数据、ACID支持、企业级权限管控、极致弹性和引擎极致优化。

经典实时数仓架构

• 批式处理：分区并发更新，高吞吐（Hive表读写吞吐），支持一致性语义。
• 流式处理：低延迟，高写入/消费RPS。

批流一体存储方案

• 湖仓一体架构：结合批流一体存储架构，实现数据组织形式和读写方式的一体化。
• BTS架构：支持批式、流式、事务性数据处理。

落地场景

• 流式数据计算场景：实时数据处理与分析。
• 多维分析场景：高效OLAP查询和维表Join。
• 日志场景：批流复用，提升效率。
• 飞书数仓/飞书实时数仓：具体应用案例。

未来规划

• 探索更多业务场景。
• 实现负载分离/均衡。
• 持续查询优化。
• 集成NativeEngine。