齐瑞峰 - 腾讯如何将 Apache Pulsar 应用于 Apache InLong - 流数据集成平台

腾讯将 Apache Pulsar 应用于 Apache InLong 的背景与架构

• Apache InLong 是一个一站式数据流处理平台，提供自动、安全、分布式和高效的数据发布与订阅功能。
• InLong 架构包括 SDK、文件、HBase、KOP、代理、总线、排序、数据库、Flink、Pulsar、HTTP SDK、TubeMQ 等组件，支持 TubeMQ 并由腾讯大数据集团贡献。

MQ 对比与选择

• 腾讯的数据输入场景（支付或用户隐私）要求高可靠性，无数据丢失。
• 测试结果显示：TubeMQ 延迟极低（10ms），TPS 支持14W+，副本支持多副本，可靠性高，稳定性好。
• 对比 Kafka 和 Pulsar，TubeMQ 在延迟、TPS 和稳定性上表现更优。
• TubeMQ 支持 Java/C++ 客户端，用户友好，支持 APAP/CPCP/APCAP 模型。

应用案例

• 腾讯广告案例：InLong 代理 Pulsar，处理广告 Binlog 数据流，低延迟（≤10ms），支持密钥共享和死信队列。
• 腾讯漫威广告案例：深圳本地集群容灾，易部署但跨区域请求延迟高。
• 腾讯 QQ 小世界案例：北京跨区域集群容灾，部署成本高但请求延迟更低。

技术改进与优化

• 代理层：通过添加代理层支持多种 SDK（如 Node.js、PHP SDK 等）。
• 标签筛选：通过消息属性标签实现动态消息过滤，应对主题增长问题。
• KOP 改进：支持 Pulsar 上的 Kafka (PIP 70)，实现平滑迁移。
• KOP 自动化功能：包括自动恢复、经纪人节流、主题自动创建/删除、自动拆分、TTL 保留等。

最新更新与优化

• 近期 PR 更新包括：客户端元获取失败重试、CLI 选项支持、卸载分区主题修复、发布缓冲区限制修复、安全升级、客户端连接泄漏修复等。