中通快递基于SelectDB实时数仓的应用实践

中通快递基于 SelectDB 的应用实践总结

背景介绍

• 中通快递股份有限公司是大型快递物流集团，2024年第三季度包裹量达87.2亿件，市场份额约20.0%。
• 中通科技是旗下互联网物流科技平台，拥有千余人研发团队，提供全场景数字化平台服务。

应用实践

• 选型背景：原有离线数据仓库时效性为T+1，无法满足实时报表需求；BI报表查询效率低，执行时长分钟级别。
• 痛点：离线抽取方案时效性不足，查询效率低；技术栈复杂，维护成本高。
• 应用场景：构建实时宽表，汇总快递全生命周期数据；支持秒级别查询响应的离线数据分析；提供简单实时数据服务接口。
• 实时宽表：数据总量6亿+，字段200列，日处理数据量45亿+，原方案任务数50+，时效5-10分钟，集群负载大。
• 收益：部分SQL性能提升5-10倍，查询时间从10分钟缩短至1分钟内；支持分区表，扫描分区数据稳定；资源使用更节约。
• 引入SelectDB：实现每秒2K+ QPS并发查询，报表更新及时度提高；支持主键表高效更新，满足Upsert、条件更新等需求。
• 极致时效性：借助倒排、BloomFilter支持多维分析，合理分区分桶加速查询响应。
• 高并发与分析场景实践：表结构设计需结合业务，合理规划Key和分区分桶列。

对比测试

• ES相关业务痛点：写入性能受限，存储成本高，开发成本高。
• SelectDB收益：开发灵活，存储成本低，多场景查询加速。
• SelectDB vs Presto：较Presto有1-2倍性能提升。
• 参数优化：通过降低dfs.client.socket-timeout提升稳定性。

未来展望

• 打通Hive外表权限验证，透传JDBC账号进行权限管控。
• 引入多租户和资源隔离，降低用户间影响。
• 加强在数据湖上的应用，支持联邦查询。
• 更直观的Profile使用，方便SQL调优。