刘征-用可观测性之眼洞悉复杂生产系统

可观测性概念正本清源

• 术语定义和来历：源于控制论，指系统可由外部输出推断内部状态的程度。
• 当前时代背景下的定义：度量一切，影响所有正在发生的问题，保障生产环境稳定性。
• 可观测性与DevOps的关系：支持持续验证、功能开关、灰度发布等DevOps实践。
• 可观测性与SRE的关系：帮助SRE实现系统可靠性和持续交付。

循序渐进落地可观测性

• 可观测性数据来源：采集、处理、使用，服务于问题解决四大领域（故障、性能、安全、用户体验）。
• 可观测性数据意义最大化：在用户x环境x代码的交叉点上获取即时、准确、清晰的洞见。
• 可观测性数据的底层细节：用可观测数据度量和感知应用系统状态及变化过程，包含“基数”和“维度”两个维度。
• 可观测性的数据结构：
  • 基数：高基数字段（用户ID、请求ID）和低基数字段（操作系统类型）。
  • 维度：高维度数据（上千个键值对）用于描述事件，携带丰富上下文信息。
• 在产品团队中推广可观测性：
  1. 应用可观测性驱动开发（自动化埋点、左移自定义埋点）。
  2. 实施基于SLO的告警（多时间窗口、多燃烧率、多告警级别）。
  3. 提高代码可观测性（验证运行效果、异常检测）。
• 统一数据模型：ECS（标准化日志和事件数据）、COM（统一云原生指标数据）。
• 高效存储可观测性数据挑战：时间序列数据库（InfluxDB、Prometheus）、列式存储（ClickHouse）、对象存储、日志存储、内存数据库、分布式存储系统、关系型数据库。
• 运算和预处理可观测性的考量：实时性、常用运算（P99、P95）、异常检测、AI推理。
• 基于SLO的告警逻辑：多时间窗口、多燃烧率、多告警级别。
• 运维界的第一性原理：核心分析循环（监控-告警-调查-响应）。

可观测性持续改进和评估

• 能力成熟度模型的作用和意义：提供起点、批判依据、客观度量，目标实现系统和工程师的可持续发展。
• 可参考的能力模型：Liz Fong-Jones 2019 InfoQ文章提出的“在复杂系统中可持续地运维卓越的生产系统”。
• 在组织内使用可观测性成熟度模型：度量团队表现、优化关键应用系统、交织其他能力、授权变革负责人并获管理层支持。