02-小红书云原生实时数仓的建设与实践-王成

小红书云原生实时数仓建设与实践

背景

• 云原生落地前：使用ClickHouse遇到的问题包括扩容周期长、多副本机制导致的成本增加和一致性问题等。

云原生OLAP V1.0建设之路

• 数据源：支持RED、ClickHouse、Flink等多种数据源。
• 架构：采用存算分离架构，实现计算资源池化和弹性扩展。
• 存储：利用对象存储（如COS/S3/OSS），支持按需使用和无限扩展。
• 查询加速：通过多级智能缓存提高查询性能，支持主动缓存和基于查询历史的智能缓存策略。

关键数据

• 实时数据集成：实现千万级实时数据的分层存储。
• 数据同步链路优化：优化后，数据摄入支持Exactly-once语义，数据同步链路缩短。
• 查询性能：通过多级智能缓存显著提高查询速度。
• 成本优化：RedCK相比开源ClickHouse在存储成本上具有明显优势，且通过弹性伸缩提升工作效率。

业务落地实践

• 用户行为分析：实现大规模数据实时接入，提升查询可用性和资源成本效率。
• 运维成本：通过容器化混合部署，提升夜间使用率，集群扩容时间大幅缩短至小于30分钟。

V-next: 湖仓一体建设

• 目标：实现数据湖和实时数仓的统一建设，减少冗余存储和计算。
• 未来规划：推进湖仓统一建设，增强引擎功能，实现自动敏捷的弹性伸缩机制。