翼支付大数据BI分析平台建设实践主要围绕平台架构、OLAP引擎技术实践及未来规划展开。
业务场景与问题
翼支付在金融大数据分析中面临烟囱式架构、查询性能及稳定性差、自助式数据获取门槛高、数据权限管控混乱及数据质量低下等问题。
平台架构
平台采用多租户权限管控机制，包括平台侧（基于Presto-parser模块解析SQL、修改SqlBase.g4文件支持Hive/Spark语法、使用Antlr4 Visitor模式解析资源信息并与元数据平台交互校验）和Tableau侧（基于Presto SPI开发SystemAccessControl Plugin对接元数据平台、Kylin采用Project ACL进行权限管控）。同时，平台集成Prometheus_agent监控集群核心Metrics，通过Grafana绘制Dashboard及Alert Platform进行告警，并基于Presto SPI开发query-event-listener插件及Kylin Metrics-Report模块进行Query层级监控与分析。
OLAP引擎技术实践
- ClickHouse优化：解决分布式表不走local join、Global IN/Not IN性能问题（通过SquashingBlockInputStream紧凑block），并添加PartialReplacingMergeTree引擎支持部分字段增量更新及删除，去除对HBase依赖。
- 执行计划及优化器改造：从V20.5开始逐步优化QueryPlan（如filterPushDown、limitPushDown等），提升算子性能，但当前仍缺乏CBO特性，需借鉴GreenPlum和DuckDB经验进一步改进。
未来规划
平台将全面云原生化，屏蔽不同SQL语法差异并实现互转，基于规则的智能路由引擎优化查询性能。
