云原生时代如何实现真正的业务可观测-华明

云原生时代如何实现真正的业务可观测性

核心观点与概念

• 可观测性定义：可观测性是让服务任何时候都可以被观测，且观测效果可持续的规范、标准、方法、工具和平台的集合。其三大维度为 Metrics（指标）、Logging（日志）、Tracing（链路）。
• 监控与可观测性关系：可观测性是对监控技术在理论、技术和现实问题下的发展，统一了 Metrics、Logging、Tracing 三条监控线，并强调数据打通关联。
• 可观测性架构演变：经历了传统基础设施、互联网服务、云原生/微服务三个阶段，观测需求从简单到复杂，数据量和维度持续增长，对观测能力提出更高要求。

当前阶段落地挑战

• 观测系统多，稳定性保障难：
  • 基础环境和微服务架构复杂（跨云厂商、混合云、物理机/容器/虚拟机、模块组件繁多）。
  • 观测方案各异且割裂，企业通常维护5个以上甚至10个以上观测系统（如 Zabbix, Open-falcon, Nightingale, Prometheus, ELK 等），导致维护和学习成本高、使用体验差。
• 故障处理难：
  • 尽管拥有各类可观测性数据，但故障发现和定位仍然困难。
  • 报警多但业务影响不明，依赖业务侧反馈或客服投诉。
  • 团队协同困难，故障确认和定位慢。

落地可观测系统的三大要素

1. 数据平台：
   • 数据采集：需要统一管理、统一采集、统一标签，整合各维度典型观测系统、各云厂商观测系统、线下数据源和云数据源。
   • 数据融合：采集后的数据需进行有效融合，实现指标、日志、链路等数据的关联。
2. 平台：
   • 功能：需要功能完备，覆盖指标查询、日志查询、Tracing查询、关联查询、告警管理等功能。
   • 接口：接口需友好，提供 Web、API、命令行等多种操作方式。
3. 场景：
   • 明确场景：针对故障处理场景设计产品，明确故障发现的关键指标，遵循“先止损后排查”原则。
   • 融合应用：在场景中融合数据，通过业务层/IT层健康状态分析、日志分析、链路分析、事件分析、容量分析等手段，将故障特征与关键事件连接到止损动作。
   • 最佳实践：结合场景建设可观测性最佳实践，包括明确故障发现指标、实现止损优先定位、综合运用定位手段、配套流程机制建设等。

面向故障处理过程的可观测性体系建设案例

• 平台选择：采用开源夜莺监控（Nightingale）作为可观测平台，搭配 Categraf 采集器及丰富的数据源集成能力。
• 关键功能：
  • 业务健康度：通过指标（如实时在线用户数、订单量、支付量）量化业务健康度。
  • IT系统健康度：使用北极星量化 IT 系统（功能/模块、组件、基础设施）健康度，快速圈定故障范围。
  • 智能检测告警：基于智能检测的告警和值守大屏。
  • 故障定位：提供指标大盘分析、日志分析、链路分析、事件分析、容量分析等，实现关联下钻。
• 案例经验：
  • 微服务健康视图需动态体现，通过指标标签和日志字段确定动态映射规则。
  • 场景中数据融合需提供多种关联工具、规则和方法，预置最佳路径，实现指标日志、指标 Tracing、日志 Tracing 等关联。
  • 故障定位能力需矩阵化，综合运用各种手段。

人工智能2.0对可观测性的影响

• AI 产品交互AI化：系统输入将基于 AI 的 NLP 能力变为对话方式，输出内容样式更灵活。
• 稳定性保障领域专业模型：基于全球故障处理报告和有“意义”的可观测数据，结合大模型将产生专业模型，实现智能化观测和运维。
• 与 AIOps 区别：AI 能力建设从要求规范、准确的数据输入，转为有“意义”的数据输入。

个人联系方式

• 姓名：华明
• 微信号：myrainhua
• 开源夜莺监控社区：http://n9e.flashcat.cloud/