海量数据下的OLAP实践_蚂蚁集团

核心观点与关键数据

1. 问题背景与挑战

• 数据驱动决策效率问题：数据分析中的报表制作和分析效率直接影响决策效率。传统流程中，SQL查询等待时间长（5小时/次），出错概率高，纠错成本高。
• ADM增长带来的挑战：数据研发人员占比高（xx%以上），数据需求吞吐量不足，ADM和报表数量持续增长（2019-2020年分别增长xx%和xx%），存储成本不断增加（两年增长xx%）。

2. ADM解决方案

• 大表性能优化：通过Cube预聚合减少查询数据量，本质是自动化ADM；通过采样减少即时分析数据量。
• Cube技术：
  • 核心指标：查询数据量从10亿级降至百万级，性能显著提升。
  • 关键问题：Cube覆盖率低（部分未构建或未使用），精准定义Cube难度大。
  • 解决方案：基于报表特征定义Cube（正向工程），提升命中率；完整技术架构包括增量构建等。
• 采样技术：
  • 应用场景：探索式分析中，度量灵活、维度灵活，对数据精度容忍度高。
  • 核心问题：随机采样计算COUNT(DISTINCT)误差大，下钻维度小样本场景难以满足。
  • 解决方案：加权采样实现各维度下钻，将COUNT(DISTINCT)转化为COUNT，提升还原精度。

3. 团队与价值

• DeepInsight团队愿景：成为全国乃至全球最优秀的数据决策产品和团队。
• 使命：通过数据驱动决策，提升公司商业决策力。
• 成果认可：持续获得公司认可，包括2019年阿里X办公神器数据产品类TOP1、2019阿里季度红草莓最佳体验等。

研究结论

• ADM是解决OLAP场景下大表性能问题的关键，通过Cube预聚合和采样技术可显著提升查询效率。
• 精准定义Cube和优化采样方法（如加权采样）是提升性能的核心。
• DeepInsight团队通过技术创新持续为公司创造价值，获得广泛认可。