4 杭银消金-基于 StarRocks构建Xihu湖仓一体平台实践

杭银消费金融Xihu平台建设背景与StarRocks融合方案

Xihu平台的建设背景

Xihu平台旨在解决杭银消费金融在数据管理中面临的四大核心问题：

1. 数据核对与回溯成本高：数据传输异常时，问题发现不及时且回溯成本高。
2. 无法获取实体数据变动明细：蓝管报送场景下，生产系统未保存客户信息变更历史。
3. 无法抽取精准时点数据：受资源限制，抽取任务无法按时启动，且数据库执行时点存在偏差。
4. 无法获取跨系统精准日切数据。

StarRocks与Xihu平台架构融合设计

为什么选择StarRocks？

杭银消费金融已建Greenplum集群，但面临以下挑战：

• 数据孤岛问题严重，缺乏统一数据存储平台。
• 数据搬迁存在延迟和准确性问题。
• Hive无法实时写入且不支持事务，查询启动慢。
• Greenplum授权费用高、非国产、不支持横向热部署，升级时数据服务暂停。

StarRocks的优势在于：

• 存算分离架构，提升性能和扩展性。
• 支持实时写入和事务，优化查询效率。
• 国产软件，降低授权成本，支持横向热部署。

平台建设经验与成效

StarRocks的存算分离架构显著提升系统性能：

• 计算节点近7天和近1天运行稳定。
• 存储节点高效支持大规模数据存储。

StarRocks使用成效：

• 实现任一时段的数据变动明细和增量查询。
• 确保多表数据一致性和跨系统精准日切数据获取。

Xihu平台展望

Xihu平台将持续优化数据管理能力，提升数据服务效率和可靠性。