翼支付云原生数据开发与治理平台实践
公司简介与平台业务场景
翼支付作为中国电信集团成员企业及唯一的金融科技公司，通过翼支付APP服务7000万月活用户，提供民生缴费、消费购物、金融理财等服务，赋能超1000万家线下商户及170余家线上电商。平台业务场景聚焦数据开发与治理，满足数仓、业务部门快速开发离线计算、数据集成、实时数据开发、数据服务等功能需求，应对海量数据处理、高并发请求、低延迟时效性、业务多样性、场景复杂性挑战。
数据开发与治理平台介绍
- 数据开发流程：平台集成数据集成、离线计算、实时计算、数据服务，一站式满足数据开发人员研发诉求，涵盖任务开发全流程。
- 双环境介绍：平台支持开发、生产双环境隔离，确保开发与生产流程高效协同。
平台技术架构实践
- 系统架构：采用分布式架构，支持高并发、低延迟数据处理。
- 离线调度：采用Python语言开发的调度引擎，功能完善、扩展方便，支持多Master调度。
- 数据总线：实现数据资源统一管理和调度，提升数据利用效率。
- 资源隔离与计算优化：通过小文件治理、任务优化（资源优化、数据倾斜、join优化等）降低计算成本。
- 质量监控：从及时性、准确性、完整性、一致性、有效性五个维度监控数据质量。
- 云原生实践：平台基于云原生技术构建，实现弹性伸缩、高可用。
数据治理产品成效
- 计算成本降低87.9%。
- 计算成本提前7.5小时。
- 模型A特征计算时效提升4030%。
- 业务线A看板查询时效提升30%。
未来展望
- 异地容灾：提升系统容灾能力，保障数据安全。
- 可观测性：增强系统可观测性，优化计算效率。
- 降低计算资源：进一步优化资源利用，降低运营成本。
