登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
seedance2.0
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
齐瑞峰 - 腾讯如何将 Apache Pulsar 应用于 Apache InLong - 流数据集成平台
信息技术
2022-03-25
Pulsar Summit 2021 北美峰会
等待花开
腾讯将 Apache Pulsar 应用于 Apache InLong 的背景与架构
Apache InLong 是一个一站式数据流处理平台,提供自动、安全、分布式和高效的数据发布与订阅功能。
InLong 架构包括 SDK、文件、HBase、KOP、代理、总线、排序、数据库、Flink、Pulsar、HTTP SDK、TubeMQ 等组件,支持 TubeMQ 并由腾讯大数据集团贡献。
MQ 对比与选择
腾讯的数据输入场景(支付或用户隐私)要求高可靠性,无数据丢失。
测试结果显示:TubeMQ 延迟极低(10ms),TPS 支持14W+,副本支持多副本,可靠性高,稳定性好。
对比 Kafka 和 Pulsar,TubeMQ 在延迟、TPS 和稳定性上表现更优。
TubeMQ 支持 Java/C++ 客户端,用户友好,支持 APAP/CPCP/APCAP 模型。
应用案例
腾讯广告案例
:InLong 代理 Pulsar,处理广告 Binlog 数据流,低延迟(≤10ms),支持密钥共享和死信队列。
腾讯漫威广告案例
:深圳本地集群容灾,易部署但跨区域请求延迟高。
腾讯 QQ 小世界案例
:北京跨区域集群容灾,部署成本高但请求延迟更低。
技术改进与优化
代理层
:通过添加代理层支持多种 SDK(如 Node.js、PHP SDK 等)。
标签筛选
:通过消息属性标签实现动态消息过滤,应对主题增长问题。
KOP 改进
:支持 Pulsar 上的 Kafka (PIP 70),实现平滑迁移。
KOP 自动化功能
:包括自动恢复、经纪人节流、主题自动创建/删除、自动拆分、TTL 保留等。
最新更新与优化
近期 PR 更新包括:客户端元获取失败重试、CLI 选项支持、卸载分区主题修复、发布缓冲区限制修复、安全升级、客户端连接泄漏修复等。
你可能感兴趣
3-1 Apache InLong 一站式海量数据集成框架原理和实践
商贸零售
DataFunSummit2022:大数据存储架构峰会
2022-07-19
策略专题:如何将分析师预期数据应用于行业比较
商贸零售
东方财富
2023-05-07
策略专题:如何将分析师预期数据应用于行业比较
商贸零售
东方财富
2023-04-07
3-5 SeaTunnel 超大数据量的数据集成平台 - 高俊
商贸零售
DataFunSummit2022:数据治理在线峰会
2022-09-15
Project Ellipse : 集成的监管数据和分析平台
商贸零售
国际清算银行
2022-03-31