翼支付云原生数据开发与治理平台实践
公司简介与平台业务场景
翼支付作为中国电信集团成员企业及唯一的金融科技公司,通过翼支付APP服务7000万月活用户,提供民生缴费、消费购物、金融理财等服务,赋能超1000万家线下商户及170余家线上电商。平台业务场景聚焦数据开发与治理,满足数仓、业务部门快速开发离线计算、数据集成、实时数据开发、数据服务等功能需求,应对海量数据处理、高并发请求、低延迟时效性、业务多样性、场景复杂性挑战。
数据开发与治理平台介绍
- 数据开发流程:平台集成数据集成、离线计算、实时计算、数据服务,一站式满足数据开发人员研发诉求,涵盖任务开发全流程。
- 双环境介绍:平台支持开发、生产双环境隔离,确保开发与生产流程高效协同。
平台技术架构实践
- 系统架构:采用分布式架构,支持高并发、低延迟数据处理。
- 离线调度:采用Python语言开发的调度引擎,功能完善、扩展方便,支持多Master调度。
- 数据总线:实现数据资源统一管理和调度,提升数据利用效率。
- 资源隔离与计算优化:通过小文件治理、任务优化(资源优化、数据倾斜、join优化等)降低计算成本。
- 质量监控:从及时性、准确性、完整性、一致性、有效性五个维度监控数据质量。
- 云原生实践:平台基于云原生技术构建,实现弹性伸缩、高可用。
数据治理产品成效
- 计算成本降低87.9%。
- 计算成本提前7.5小时。
- 模型A特征计算时效提升4030%。
- 业务线A看板查询时效提升30%。
未来展望
- 异地容灾:提升系统容灾能力,保障数据安全。
- 可观测性:增强系统可观测性,优化计算效率。
- 降低计算资源:进一步优化资源利用,降低运营成本。