预计算价值的量化和对大企业数据平台建设的意义

大数据平台降本增效的困境

• 预算控制趋严，业务复杂且存量高企，建设与长期运营成本评估难，技术产品选型难。
• Adhoc Query（灵活查询）量稳定，Canned Report（固定报表）量随业务增长而增加。
• 企业关注降本增效，IT投入转向精打细算，需优化算力成本并量化结果。
• 技术选型难，开源和商业化产品多，需降低多技术栈的人力资源成本。

技术答案和方向

• 基于共享的Spark技术栈，结合向量化技术、预计算技术和Offline/Online Balance技术。

预计算技术的性能和成本优势

• 预计算技术通过数据建模提前计算并存储中间结果，加速查询，类比CDN提前分发数据。
• 在高并发场景下，预计算技术通过模型索引匹配，减少计算量，缩短查询时间，节约计算资源。

预计算价值的量化及其启示

• 量化指标：成本指标（Query CPU Cost）、性能指标（Query Duration）。
• Query CPU Cost比Query Duration更能反映硬件资源成本，更适用于评估系统整体计算成本。
• 通过Query CPU Cost统计业务场景的CPU Cost，横向比较高位，评估预计算优化空间。
• KYLIGENCE下一代企业级数据分析平台提供Cost per query系统指标，直观展示每条查询的CPU Cost。
• 实验室测试显示，预计算技术在绝大多数场景下，CPU Cost低于非预计算技术。

总结

• 通过量化预计算价值，帮助企业管理人员直观看到其带来的性能和成本优势，降低决策难度。