中国电信云上AIOPS场景化实践——左悦

中国电信上云运维挑战与AIOps解决方案

一、上云后的运维挑战

• 运维目标提升：从传统模式转向更高要求的“快速、高效、安全、稳定”，需实现故障的快速发现、定位和处理，并通过动态伸缩突破性能天花板。
• 管理内容细化：业务驱动下，所有资源和配置需纳入管理，涵盖机房基础设施到操作系统配置，并面向业务生命周期和IT服务过程。
• 运维模式转变：从“各扫门前雪”转向矩阵式联合体运维，关注“能感知、会学习、会分析、可预测、可决策、可展示”的智能化运维能力。
• 技术架构切换风险：云原生、分布式、多中心、微服务、敏捷迭代、动态管理、容器封装、抽象化、自动化等新架构带来运维挑战。

二、IT运维转型要求

• 监控对象激增：系统节点、微服务数量几何级数增加，监控工作量急剧上升，调用承载关系复杂，需引入运维工具技术。
• 排障难度加大：系统众多，依赖专家技能和经验，跨团队责任界定困难，对排障时效要求更高。

三、IT运维核心框架

• 框架内容：围绕IT运维全视角展开，包括资产交维纳管、监控部署、巡检作业、风险操作、运营调度、隐患排查治理、应急演练、系统优化等。
• 目标：建成聚焦客户感知、敏捷高效、稳定安全的IT维护体系。

四、中国电信云翼统一PaaS平台

• 能力：提供100000+高质量API，端到端自动化流水线，承载6200+系统，托管100亿行代码，实现安全隔离、资源共享。
• 功能：用户自助资源开通升级、不停业业务连续、代码安全漏洞审计、多资源池按需部署、一站式业务交付、接口及性能自动化部署、代码自动化打包发布等。

五、云眼IT智能运维平台

• 监控能力：端到端跨多层监控，全网监控55万+组件节点，自助式开通IaaS/PaaS资源，拉通142资源池，开通2.4万+PaaS组件。
• 数据整合：集团系统和平台数据、省分系统和平台数据规范统一，数据拉通运维。
• 核心功能：日志采集处理分析检索、综合告警中心、监控中心（API、移动端、NaaS、SaaS、PaaS、IaaS）、AI决策中心、知识管理中心、资源管理中心、自动发现、操作管理、应急管理、统一采集中心等。

六、云眼平台能力视图

• 业务端到端监控：覆盖XX个场景，涉及全网XXX个核心系统，xxxxx个核心环节，如集团直充、精品专线等场景监控。
• API调用监控：打通能力和系统，聚合API调用监控，实现调用趋势分析、调用错误详单、能力主题监控等。
• 全网系统监控：SaaS、PaaS、IaaS全网组件监控，包括主机、网络等。
• 资产拓扑管理：纳管实体资源约XX万个，业务、SaaS、PaaS、IaaS四层资源实体，通过自动化手段发现资产，构建数据，以业务视角构建IT资源弹性关系。

七、自动化运维探索实践

• 场景应用：进程监控、页面探测、端口拨测、CPU/内存监控、主机磁盘监控、网络链路监测、积压量监控、超时测试等。
• 主要功能：监控类任务自动处置、能力前置类、主要功能隐患早发现、主动巡检、业务运行稳、运营效率高、成本效益好。

八、AIOps成熟度提升

• 五个阶段：L1（数据采集和可视化）、L2（单点应用）、L3（串联应用）、L4（能力完备）、L5（终极AIOps）。
• AI能力等级：从单指标异常检测、日志异常检测到多场景下的效率提升、成本管理，最终实现全智能化。

九、智能化感知提升可观察性

• 案例：电信某省多个服务产生故障告警时，利用图数据技术发现疑似根因，缩减故障定位范围，快速定位。
• 价值：主动感知业务整体运行状态，提升运维团队工作效率，保障政务云上各业务与应用及系统的健康运行。

十、可观测性

• Gartner十大趋势：应用可观测性位列第六，强调“观测-判断-优化-再观测”的闭环连续性和高效性。
• 传统监控 vs 可观测性：传统监控聚焦系统稳定性，可观测性聚焦找到根因，防患于未然。
• 可观测性优势：数据统一，做时间+空间的关联，对指标、日志、链路在数据格式上进行标准化，通过上下文及时间完成时间与空间信息的关联。