Apache Doris在拉卡拉支付场景下的应用探索

张杰研发中心高级大数据工程师 拉卡拉公司介绍01 目录 业务背景02 支付应用实践03 未来规划04 01拉卡拉公司介绍 公司简介 拉卡拉支付股份有限公司（股票代码300773）成立于2005年，2011年首批获得中国人民银行颁发的支付牌照。公司坚持“商户数字化经营服务商”的定位，实施“推广数字支付、共享数字科技、兑现数据价值”的经营战略，践行“支付为民”，助力数字中国建设，服务实体经济。2020年10月，公司与中国人民银行数字货币研究所签订战略合作协议，成为首批获得数字人民币受理服务许可的支付机构，先行参与数字人民币生态建设。 拉卡拉坚持以科技驱动创新，以创新驱动发展，在银行卡支付、移动支付收单市场构筑起产品、服务和品牌综合优势，受到广大用户青睐。公司坚持与时代同行，当前正以崭新的姿态拥抱数字经济。公司以支付为入口，共建商户数字化服务生态，为商户以及生态合作伙伴提供数字化支付、数字化经营、数字化金融服务，推进商户服务向精细化、精准化、智能化方向迈进。 问题与挑战 报表系统存储的痛点 交易实时查询的挑战 2 1 •Hive计算，Oracle存储•Oracle扩容复杂•维保费用高昂•“去O”需求迫切 •备库存储周期短•支持大表多表(跨域跨库)关联•MySQL分库分表,查询服务实现复杂•要求低延迟、短耗时 标签查询服务的困难3 联机查询技术栈的复杂4 •组件多•架构复杂•运维成本高•数据冗余，面临一致性挑战 •标签数量多•标签不断增加，schema变更频繁•同时支持点查和圈选•标签分域计算，及时更细，部分列更新 ApacheDoris的优势 支持秒级别实时写入和批量数据更新支持轻量化表结构修改支持实时部分列更新基于列式存储和向量化执行查询性能强悍、支持实时分析支持点查询、明细查询和聚合查询支持多租户管理，资源隔离，丰富的权限管理模型支持多种存储模型，满足不同业务场景的需求支持横向扩展简单易用，兼容MySQL协议维护成本低，支持自动容错和故障转移社区活跃度非常高Doris Summit Asia 2024 应用实践及问题 引入Doris总体收益 利用Doris替代ES、HBase、TiDB和Oracle，打造统一的查询引擎。大幅简化技术栈，降低系统复杂性，同时减少数据冗余提升了数据一致性和查询性能。此外，统一的平台能够更好地支持数据分析和业务决策，促进企业在降本增效方面取得显著成效。 查询性能提升 开发运维效率 服务器成本 对账单系统-总体介绍 为客户提供交易明细查询、报表服务及批量对账文件生成 •报表服务•夜间跑批生成对账文件并发送•提供数据订阅服务 •数据存储周期：一年•日新增数据量：亿级•日查询次数：百万级•查询耗时99分位数：2s•数据延时：5s 对账单系统-数据乱序 Doris Summit Asia 2024 问题描述 •业务原因写入乱序•数据补传•数据片段回放 解决思路 •主键模型•sequence_column 对账单-大表关联 问题描述问题描述 耗时变化：200s10s •事实表和事实表关联•占用资源•查询耗时长 解决思路 •添加倒排索引•优化分桶策略•按表KEY列进行关联•写时合并成宽表 实时交易看板-实时计算替代预聚合 APP中展示当月每日（含当日）累计交易额 预聚合的痛点 实时查询汇总：Doris的天然优势 •数据重复带来的去重压力•跨日结算•退货退款•调账•数据周期，一个月•状态恢复困难 •主键表自动去重、合并历史状态 •强大的查询性能，实时汇总 •直接查，写入程序无状态 实时风控场景-Doris替代ES构建高效分析引擎 Doris在实时风控场景中，通过其高效的聚合能力、强大的实时分析性能，优化了风控系统的架构。相比ES，Doris以更高的查询性能和资源利用效率，降低了数据冗余和系统复杂性；依托标准SQL和高扩展性架构，为构建更敏捷、更精准、更经济的实时风控体系提供了全新解决方案。 •开发复杂度高•查询耗时长•不支持Join •兼容MySQL协议•查询耗时更短•支持Join 实时风控-交易明细查询性能优化 select id,trade_date--UNIQUE KEYfrom trade_table select id,c_1,...c_98from trade_table--分区主键表，trade_date日分区wheretrade_date between‘2024-06-01’and‘2024-11-30’and other_condition=’...’order by trade_time desclimit 100; trade_date between‘2024-06-01’and‘2024-11-30’ order by trade_time desc select id,c_1,...c_98from trade_tablewhereid=’’and trade_datte=’’; •返回列多•orderby语句•查询范围广，数据量在百亿级别•条件组合多，但没有必传列 未来规划 新特性应用 业务解耦，拆分多套集群，减少业务相互影响。根据各自的工作负载和数据特点灵活调整资源分配，实现性能优化与资源利用最大化 验证2.1新特性并应用于生产 升级至2.1.x，解决现有问题 •多表物化视图•基于CGroup的资源隔离•CCR跨集群复制•方言转换•GroupCommit •workloadgroupCPU隔离效果不好•leftjoin执行优化器存在问题•客户端请求ip透传功能 ThanksforWatching！