孙钊-平安银行大数据云原生实践（云数仓StarRocks）

平安银行大数据云原生实践（云数仓StarRocks）

大数据现有架构

平安银行目前采用大规模大数据集群，涵盖消息中间件、搜索引擎及相关生态系统，并负责其技术运营管理及信创体系建设，推动大数据云原生转型。

挑战及创新

选型维度与选择StarRocks的原因

平安银行对比了主流OLAP引擎ClickHouse、Apache Kylin、Presto/Trino和StarRocks，选择StarRocks的原因如下：

• 性能优势：StarRocks 2.x在TPC-H 100G测试中查询性能提升约3倍（对比Trino），TPC-DS 500G中1/3计算资源下性能已超Trino；与Kylin对比，查询预热后StarRocks表现优异。
• 存算一体架构（StarRocks 2.x）：提供资源隔离、弹性扩容及成本控制，但存在升级运维成本高、数据副本浪费等问题。
• 存算分离架构（StarRocks 3.x）：通过FE、BE分离优化性能，2023年引入StarRocks 3.x并配合云原生转型，采用Kubernetes底座及StarRocksOperator实现自动化部署与弹性扩缩容。

StarRocks计算弹性扩缩容实践

• 弹性扩容：基于CPU使用率自动伸缩，最小15个副本，最大25个副本，CN节点自动注册/注销。
• Kerberos集成：改造镜像以支持Kerberos访问Hive外表，通过定时Kinit更新krb5 cache。

StarRocks监控、自动化部署

• 多维度集群监控：实现精细化运维。
• 自动化部署：通过Kubernetes HPA及StarRocksOperator实现声明式管理。

业务赋能

• 指标平台：实现指标“一处定义、多处使用”，通过物化调度满足SLA需求。
• CDP：基于StarRocks实现湖仓融合，支持准实时秒级OLAP分析，为策略投放提供客群圈选、画像分析能力。

未来展望

• 混部调度引擎：通过Koordinator实现资源精细化调度，提升K8s利用率。
• Presto/Trino全面替换：进一步提升效率。
• 高效运维社区：迈向DevOps时代。