4 杭银消金-基于 StarRocks构建Xihu湖仓一体平台实践

吴岐诗杭银消费金融-大数据应用开发工程师 StarRocks 公司概况 杭银消费金融股份有限公司成立于2015年12月，是经中国银保监会批准，由杭州银行作为主发起人：联合滴滴、中国银泰等知名企业组建的持牌消费金融机构，注册资本为25.61亿元。公司秉承“数字普惠金融”初心，坚持服务传统金融盖不充分的、具有消费信货需求的客户群体，以“数据、场景、风控、技术”为核心，始终不懈探索消费金融新模式，为全国消费者提供专业、高效、便捷、可信赖的金融服务。 STARROCKS SUMMITASIA2024 xihu平台的建设背景 02StarRocks与Xihu平台架构融合设计 平台建设经验与成效 Xihu平台展望 Xihu平台的建设背景 STARROCKS SUMMIT ASIA 2024 数据需求场景 问题：无法实现低成本数据核对和数据回溯问题1：无法实现低成本数据核对和数据回溯 场景：数据传输过程出现异常，可能造成数据缺失，问题发现不及时，数据回溯成本高 目标：通过建立低成本数据核对机制，及时发现数据缺失问题，并提高效供数据回溯机制； STARROCKS SUMMIT ASIA2024 问题2：无法获取生产数据库中的实体数据变动明细 场景：蓝管报送场景下需费数据变动明细 生产系统中客户信息一天内多次变更则需要报送每次的状态，但生产系统没有保存每次的变更信息只能靠每日批量获取日终最后一次状态 STARROCKS SUMMITASIA2024 问题：无法抽取精准的时点数据，无法多表数据一致问题3：无法抽取精准的时点数据，无法多表数据一致 场景：受资源限制，抽取任务无法按时启动：即使抽取任务按时启动，数据库执行时点也可能偏差 目标：通过抽取数据流量，使用数据时间，获取精准时点增量数据，再与之前的全量合并为精准时点的全量，以保证多表数据一致 STARROCKS SUMMIT ASIA 2024 问题4：无法获取跨系统精准日切数据 STARROCKS SUMMIT ASIA2024 数据痛点回顾 STARROCKS SUMMIT ASIA2024 系统建设业务目标 1提供自接入数据总线以来任一时段的数据变动明细 2提供自接入数据总线以来任一时段的数据增量 to：业务系统上线时间点t1：业务系统接人数据总线时间点t4:提供初始数据全虽时间点 STARROCKS SUMMIT ASIA2024 StarRocks 与 Xihu平台架构融合设计 为什么选择StarRocks？已建GP集群 STARROCKS SUMMIT ASIA2024 为什么选择StarRocks? 数据存在数据孤岛，没有统一的数据存储平台数据搬迁存在延迟、准确信问题 Hive无法实时写入、不支撑事物：数据查询启动慢，数据查询分析需要分钟级别 Greenplum授权费用高，非国产软件，不支持横向热部署，遇到升级时数据服务暂停 大数据应用架构一目标 平台建设经验与成效 starRocks存算分离-计算节点近7天运行情况 STARROCKS SUMMITASIA2024 starRocks存算分离-计算节点近1天运行情况 STARROCKS SUMMITASIA2024 StarRocks存算分离-存储节点 STARROCKS SUMMIT ASIA2024 starRocks使用成效 Xihu平台展望 STARROCKS SUMMIT ASIA 2024 感谢观看！滋 Thank you!