登录
注册
回到首页
AI
搜索
发现报告
发现数据
发现专题
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
海南封关
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
赵丽萍 _ Apache Pulsar 在腾讯游戏采用、运营质量优化经验与未来
文化传媒
2022-03-25
Pulsar Summit 2021 北美峰会
土***
AI智能总结
查看更多
腾讯游戏采用 Pulsar 的经验与运营优化
腾讯游戏大数据现状
数据量
: 每日传输 1.8 万亿,300 TB,总存储 100 PB+;流集群 150k+,批量 1800+ bn,数据 4000 亿+;卡夫卡/脉冲星结束游戏 100P+,流媒体 90+ mil./s,风暴/Flink多维分析数据 600 亿+,页面游戏 90+ 集群,TDW 数据 1300+ 十亿。
平台组件
: ODP-一站式操作和开发平台,包含脉冲星、Flink、DataMore、实时卡夫卡/风暴/火花分析报告、批处理iData、候选人实时德鲁伊MapReduce\Hive,用户自助中心等。
数据源与应用
: 游戏任务系统、Tredis、风暴/Flink分析、卡夫卡/脉冲星TGLog代理、Tspider有效性分析、活动市场营销应用程序、TDW、TDBank、个人中心、游戏外新闻推送、实时规则、用户画像、个性化推荐、用户范围王者荣耀 LBS、Channel管理、Xone 集成开发平台、实时数据服务运营支持系统Monitor、释放test数据/应用程序血统、Operating平台建筑升级data devapidevGDAM/CMDB、实时活动、用户热衷于故障感知。
为什么选择 Pulsar
在线 Kafka 操作痛点
: 扩展不及时、机器成本高、运营商质量滞后、监测成本高、没有延迟的消息和死亡信主题、某些情况下的数据丢失、写入可用性危害。
Pulsar 优势
:
卡夫卡优化
: Pulsar 支持小时级别扩展、数据迁移、自动恢复,经纪人无扩展,无写入可用性危害。
主要消费模式和服务比较
:
流: 独占和故障转移订阅 vs 订阅模式;仅流队列:共享和密钥共享订阅 vs 共享和密钥共享订阅。
消费者线程数: 卡夫卡消费者线程数 <= 分区数量 vs 脉冲星消费者线程数可以大于分区数量。
消息持久性: 卡夫卡是,脉冲星更灵活。
消息延迟: 卡夫卡无,脉冲星有。
交易消息: 卡夫卡是,脉冲星优化。
GEO-复制: 卡夫卡无,脉冲星有。
Pulsar 优点
: 低延迟性能、高TPS、流和队列订阅模式、多租户、数据可靠性高、服务能力即时扩展、写入可用性高、Metrics多租户、扩展小时级别、云原生、自动恢复、语言易用性、地理复制。
腾讯游戏中的 Pulsar 运营
分层管理和群集部署
: 公共群集、专用群集、租户业务组、存储配额、命名空间保留/清理策略、节流政策、企业授权管理。
客户端体系结构
: KP 经理配置发布,客户端始终获取实时经纪人列表,群集更改对客户端透明,更高的客户端可用性。
Pulsar 经理操作员
: 群集管理、权限管理、开发人员-制片人、消费者、信息安全策略管理、安全中心(Ranger)、群集管理器。
运营质量服务体系
监控
: 指标 + 日志记录 + 跟踪,快速分析问题的根本原因;CMDB/GDAM全链路影响评估。
高可用性解决方案
: 脉冲星星团 - 1和-2,数据中心故障处理,FailoverProducer SDK,滑动窗口,跨数据中心服务灾难恢复。
未来工作
KOP
: 6K+ 历史任务切换。
K8S 上的 Pulsar
: 云原生,测试环境已部署在腾讯云 TKE 上。
延迟消息传递
: 性能优化、健康体检、审计管理、更多功能。
Pulsar + Flink 用例
: 推荐朋友推荐 warband 回忆朋友。
Kafka 版本
: kafka2.2 用于支持历史任务的平滑切换,kafka0.9.x 回滚至 earlier 版本。
你可能感兴趣
5-4 Apache Spark 在自助分析系统的应用实践与优化
信息技术
DataFunSummit2022:现代数据栈技术峰会
2022-11-02
共享服务中心服务运营质量的提升与优化
信息技术
智享会&众合云科
2023-04-24