Delta Lake在BI+AI产品中的实践

观远数据分析产品简介

公司成立于2016年，总部位于杭州，愿景是让业务用起来让决策更智能，客户包括联合利华、招商银行等500+行业领先企业。数据分析产品提供数据接入、自助取数、智能ETL、可视化分析等功能。

客户案例

某头部银行使用观远数据分析产品，实现4万+月活跃用户，查询性能9分位保持在3～5秒，单日50万+Spark任务，1万8千核的超大集群。

Delta Lake的应用实践

数据湖架构

数据分析平台架构包括数据湖层、计算层和应用层。

Delta Lake的重要特性

• ACID：通过Delta log控制提交原子性，保证一致性、隔离级别和持久性。
• 全量/增量更新：支持全量覆盖（overwrite）、增量更新（merge）和追加新数据（append）。
• Schema管理：支持schema增强和schema进化，适应表结构变更。
• 多引擎支持：核心处理引擎为Spark，delta-rs和Standalone Reader提供高性能读取。
• 数据版本支持：时间旅行功能允许基于历史数据进行重复实验。
• 分区：通过分区提升算法实验效率，分区字段一般选择date类型。
• 存算分离：支持多种存储方案（HDFS，S3，NAS等）。
• 流/批一体：支持流式写入。

Delta Lake表结构

• _delta_log元数据目录：包含json日志、checkpoint.parquet等。
• 分区/数据文件：层次组织结构。

并发控制

业务上通过优化写入策略减少并发错误影响。

数据接入方式

• JDBC方式：对接方便，通用性强。
• Hive表的优化：通过Spark直接加载Hive表，处理schema变更。

性能优化

• 小文件合并(compaction)：将大量小文件合并为少量大文件。
• 定时清理（vacuum）：结合时间旅行的版本使用情况。
• 仅读取需要的列：提升查询效率。

总结和展望

Delta Lake的新特性包括Z-Order、DML增强等，未来将更加云原生、开放，提供SQL查询服务，基于Catalog进行数据资产管理，并持续回馈开源社区。