孙艺平-游戏全球研发管线架构设计

孙艺平蓝盾平台技术负责人 腾讯蓝鲸DevOps平台技术负责人，2016年底加入腾讯，担任蓝鲸作业平台、蓝盾等产品技术负责人。目前专注于CI流水线调度引擎及服务场景设计研发、负责蓝盾在腾讯游戏全球研发管线架构设计和落地、为腾讯业务出海和海外游戏业务的DevOps转型赋能。 腾讯CI的研发背景 什么是研发管线腾讯CI(蓝盾)的起源及面临新的研发挑战 01 目录Content 蓝盾DevOps平台架构设计蓝盾平台整体架构设计持续集成核心部件设计 02 游戏全球研发管线架构设计 03 助力游戏工业化-全球研发管线架构设计走出腾讯-游戏离岸开发蓝盾桌面-云研发实践演示 01 腾讯CI的研发背景 腾讯CI（蓝盾）的起源和面临新的全球研发挑战 冯·诺依曼计算机架构=输入设备+CPU运算器+控制器+存储器+输出设备 蓝盾平台技术建设背景 业界开源解决方案存在的痛点 早期使用开源解决方案在腾讯大规模落地实践总结 蓝盾开源为行业DevOps转型赋能 蓝盾开源并一直在为各行各业输出更适合中国企业的DevOps平台 游戏全球研发新模式 腾讯游戏业务遍布全球 工作室本部+离岸研发基地后疫情时代催生出新型的离岸基地研发模式，对离岸基地的研发团队急需安全且效率的联合研发方案 海外子公司全球研发 区别于国内较为稳定集中的网络环境，海外子公司项目团队存在跨国跨洋跨大洲在全球离散分布，需要进行DevOps转型 国内工作室+海外发行 国内研发构建交付产品到海外发行频率越来越高，需要从研发流水线直接打通到海外各大渠道发行最后一环，消除通过人工操作工作量和保障产品安全 蓝盾DevOps平台架构设计 蓝盾平台整体架构设计持续集成核心部件设计 平台核心-流水线引擎&资源调度服务 流水线引擎控制器部件!"#$%+'()+*#+,=./0%1/2% 插件框架-跨平台团队协同框架设计 开放式流水线插件框架和开发规范：•插件与流水线平台和构建环境完全解耦 •开发者可独立完成插件制作及上架流程•打通了腾讯内部几百个研效工具平台 开放式调度服务平台框架•跨BG团队协同研发差异调度 •业务团队可声明指定专属集群•调度数万台私有构建机集群 流水线插件防伪造越权-云端鉴权 游戏全球研发管线架构设计 助力游戏工业化-全球研发管线架构设计走出腾讯-游戏离岸研发蓝盾桌面-云研发实践演示 蓝盾全球研发管线架构设计-指导思想 冯·诺依曼架构 制品差分增量上传及安全高速UDT传输协议 收益 问题： p构建产生大量相似文件组成大文件制品p弱网环境大文件制品传输慢、丢包阻塞p跨国专线带宽资源有限、成本高昂 解决方案： 基于UDT自研FDTP高速安全数据传输协议: ü支持高BDP网络下传输文件ü支持SSL协议保障传输安全ü基于流分割二进制帧传输实现多路复用 基于rsync算法自研差分增量上传： ü重Client轻Server架构设计，支持大量请求ü优化传统rsync算法，增加Buffer区提升IO效率ü计算与网络IO并行，提升资源利用率ü弱网环境探测支持降级ü根据文件名编辑距离的判断基文件ü数据完整性安全校验 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站01 蓝盾桌面端–用本地IDE体验云开发演示 蓝盾桌面端–在云端用高性能GPU机器开发游戏演示 蓝盾平台开源及体验 Ø蓝鲸续蓝线 üØ蓝鲸库 ü 蓝鲸社区版线上体验环境 【源码】蓝鲸制品库平台 Thanks DevOps时代社区荣誉出品