1-2 基于 Apache Doris 构建实时统一的现代数据分析平台

当前数据分析栈的现状与挑战

• 当前数据栈涵盖数据湖、ERP、日志、文件、对象存储、第三方数据API、批处理系统、数据仓库、OLAP数据库、报表工具、用户行为分析、数据应用等。
• 架构演进经历了从2006年至今的三个阶段：2006-2015年数据量爆炸与Hadoop的诞生；2013-2020年大数据技术栈百花齐放；2020-202X年架构统一与云基础设施结合。
• 现代数据分析需求的核心是提升查询效率、实时数据重要性、缩短需求交付周期、降低数据分析门槛。
• 现代数据分析需求的挑战包括更快、更简单、更稳定，同时需满足多维报表、即席查询、统一数仓、湖仓加速等场景需求。

基于Apache Doris构建实时统一的数据底座

• Apache Doris是Apache顶级项目，基于MPP架构的高性能实时分析型数据库，支持亚秒级响应，适用于多维报表、即席查询、用户画像等场景。
• Apache Doris应用场景包括用户行为分析、自助BI平台、AB实验平台、IoT时序数据分析、日志检索分析、统一数仓平台等。
• 典型案例：某互联网公司使用Apache Doris替换原有架构，性能提升2-10倍，日均SQL查询量数万条，支持十余个集群。

Apache Doris最新特性解读

• 1.2版本特性：
  • 主键模型优化：全新Unique Key模型基于主键索引+Delete Bitmap，查询性能提升10倍以上。
  • Light Schema Change：毫秒级DDL同步，结合Flink CDC实现实时DDL。
  • Multi Catalog：数据源Schema自动同步，支持Hive、Iceberg、Hudi等。
  • JDBC数据源：支持MySQL等关系型数据库数据集成。
  • 冷热数据分离：存储成本降低70%，支持Rowset级别分离。
  • New MemTracker：引入TCMalloc Hook自动统计，支持进程级、查询级内存控制。
  • 其他新功能：Array类型、New Decimal、New Date/Datetime、Java UDF等。
• 性能表现：1.2版本较1.1版本提升近4倍，是竞品3倍以上。

关于SelectDB

• 公司定位：开源数据仓库技术创新与云端数据仓库商业服务。
• 创立时间：2022年1月，总部位于北京，设有多个研发中心和分公司。
• 融资情况：2022年4月完成天使轮和天使+轮融资，由IDG资本、红杉中国等投资。