孔罗星-字节跳动观测智能化之路

服务端一站式智能观测平台

个人&团队介绍

• 负责人：孔罗星，13年APM领域经验，21年加入字节负责服务端观测平台
• 团队面向字节内部开发者提供观测平台，协同构建Metrics/Traces/Logs/Events等数据链路，提供一站式监控、报警、日志、链路追踪、根因分析能力

What、Why

• 服务端一站式智能观测平台：解决字节内部海量业务、复杂技术栈下的观测需求

业务和架构

• 现状：
  • 业务规模：服务抖音、懂车帝、飞书等字节所有业务，语言/框架多样（Java/Go/C++/Python x10+）
  • 数据量：微服务数十万，Metrics数十亿点/s，Traces近亿Span/s，日志数百PB，报警上千万规则
  • 用户规模：内部用户规模最大，数万UV、数十万PV，研发/SRE/QA高频使用
• 挑战：
  • 数据治理：需要长期存储、微服务拓扑复杂、分析难度大
  • 用户需求：希望保姆式服务、降低使用成本、提高稳定性
  • 平台问题：观测数据标准化程度不一、产品体系庞大复杂、覆盖率提升瓶颈

解决思路

• 双线并行：
  • 保持产品演进，建设基础能力，为AI铺路
  • 通过AI应用降低使用成本，辅助用户理解产品设计

AI排障

• 引入前：手工逐层分析异常指标、Trace、日志
• 引入后：
  • 报警触发全自动分析，自动寻找上下游关联
  • 智能聚合相同根因报警，给出影响面评估
  • 用户心声：诊断误导容忍度低，关注可解释性和准确性
  • 准确率：~70%

观测数据标准化

• 问题：
  • 日志、指标、Trace不一致
  • 服务/SDK版本、同类SDK语言差异
• 解决方案：通过Measurement标准化数据，提供全面元数据

工程架构

• 自动化分析：结合自动化和智能化，以“有用>准确”为原则
• 智能化排障：利用AI自动得出结论，辅助用户理解系统

辅助配套

• 生态集成：实例迁移、报警卡片等功能

未来展望

• 极致报警信噪比：
  • 聚合相同根因的报警，按接收人关注点发送
  • 识别故障传播链和影响范围

LLM&BotStudio

• BotStudio功能：
  • 插件：对接外部数据（API、知识库）
  • 工作流：自定义编排插件、代码处理
  • 发布：飞书、微信等Bot及API
• 运维场景Case：
  • 插件对接RCA分析API
  • 工作流包装API，简化开发
  • 整合Low/Mid/High Level API，按需调用

AIEverywhere

• 服务巡检：自动检测服务稳定性风险
  • 示例：CPU使用率过高、下游调用错误率持续较高
• 报警规则解读：提供服务健康评估
  • 示例：CPU过载风险、下游延迟偏高