8-1 Presto on Alluxio 在翼支付 BI 平台的应用实践

01Presto + Alluxio应用场景

• 应用场景包括加速Bi平台数据查询、加速人工智能场景下模型的训练速度以及统一数据访问入口
• Presto + Alluxio基本架构介绍

02翼支付Bi平台实践

• 业务场景现状：Presto引擎承载Bi平台超过90%的查询请求，90%的SQL查询在1分钟内完成，但P99分位耗时达259秒，存在优化空间

问题与解决方案

• 问题一：Presto on Alluxio Cluster与Presto on Alluxio Local Cache选型
  • Presto on Alluxio Cluster：优点是Local Cache hit和预加载缓存，缺点是增加机器和运维成本，以及HDFS存储变更同步不确定性
  • Presto on Alluxio Local Cache：优点是轻量级，缺点是无法在动态扩缩容中命中缓存，且缓存由Presto主动发起浪费资源
• 问题二：如何不修改Hive元数据Urlschema，让Presto同时支持查询Alluxio Local Cache和HDFS
  • 解决方案：通过转变URL格式实现
• 问题三：如何保证外部存储变更时缓存及时失效
  • 解决方案：设计缓存及时失效机制
• 问题四：如何判定高频查询和IO密集的热表，并设计CacheManager服务
  • 解决方案：开发CacheManager服务，通过Presto Query Info Json统计信息，精确到分区级别进行缓存控制
  • CacheManager服务设计包括热力值计算、背包问题、Hive DDL监控
• 问题五：如何设计Presto与CacheManager服务交互解耦
  • 解决方案：设计Presto与CacheManager交互过程，降低Presto对CacheManager的依赖

实现效果

• TPC-DS测试数据集生产实测：Presto Alluxio Local Cache方式提升SQL执行效率约23%
• 生产测试受CacheManager服务分析缓存命中影响，出现“反弹现象”

03未来规划

• 借助AI智能学习方式预测查询概率作为热力值（OnGoing）
• 设计轻量级解耦方案，避免高成本操作（如worker重启后主动恢复Alluxio Client存储元数据）
• 解决Coordinator单点故障问题
• 设计Alluxio Cluster模式下的解决方案，为其他查询引擎提供加速服务