咪咕互娱云游戏运维平台优化方案
个人简介
周鸣，咪咕互动娱乐有限公司运维总监，拥有超过10年IT行业经验，精通主流操作系统、数据库、网络设备和虚拟化技术，在云计算、大数据、人工智能等领域有深入研究，带领运维团队优化IT系统，提升可靠性、安全性和可扩展性。
云游戏介绍
- 定义：基于ARM/X86架构的安卓、主机游戏的云化，无需下载安装，即点即玩，无平台限制。
- 特色：以云计算为基础，游戏在云端运行，画面压缩编码后通过网络传输至客户端，客户端只需基本视频解码和输入能力。
公司介绍
中国移动通信集团有限公司打造“咪咕快游”电信级云游戏平台，充分发挥5G+算力网络优势，提供行业领先的算网融合能力。
运维存在问题
- 背景：云游戏运维平台整体架构存在成本控制、系统复杂、可观测能力低、智能化水平低等痛点。
- 具体问题：
01 成本控制：运维任务多、流程繁琐。
02 系统复杂：应用系统上下游依赖关系混乱。
03 可观测能力：系统割裂，无统一可观测大屏展示。
04 智能化水平低：故障诊断困难，依赖人工经验。
解决思路及取得成效
1. 客户端可用性，用户体验可观测
- 方法：收集客户端性能数据，分析用户旅程、使用版本、热门页面访问等，解决启动时间长、卡顿、白屏和崩溃问题。
- 成果：提高客户端可用性和用户体验。
2. 业务链路追踪，端到端可观测
- 方法：通过TraceID实现用户端、网络端、服务端及各应用节点的日志数据全链路关联分析。
- 成果：提升故障定位速度和准确性，快速响应并提升用户满意度。
3. 全栈性能剖析，代码级可观测
- 方法：使用链路追踪工具捕获应用代码数据，深入服务端底层进行性能定位分析。
- 成果：快速追踪到具体代码方法的问题根源，提升问题定位的准确率和效率。
4. 系统能力优化，全域可观测
- 方法：构建云游戏平台的容量预测和健康度评估体系，实时监控服务器、应用服务和网络流量。
- 成果：实现系统容量的及时管理和优化，确保平台稳定运行。
5. 业务指标分析，指标可观测
- 方法：通过关键指标如游戏启动成功率、卡顿时长、RTT时延和首帧加载时间进行衡量，进行数据采集、聚合、规范化，并基于各指标特性进行特征提取和训练。
- 成果：实现高效的异常检测和根因分析。
6. 系统告警降噪，事件闭环可观测
- 方法：通过内部生产故障案例分享，分析告警原因，进行优化。
- 成果：实现故障原因分析和后续优化举措。
弱网实验室赋能产品体验优化
- 目标：全力提升边缘场景用户体验。
- 方法：模拟用户网络条件，发现/复现用户体验问题，进行行业对标，量化效果评估。
- 现状：用户在地铁、高铁、车库等环境使用云游戏，受信号覆盖、人流密度、信号干扰、网络拥堵等因素影响，出现网络质量差或不稳定等问题。
- 能力规划：模拟低质量网络环境，寻找改进空间，评估技术优改措施的效果。
