隋吉智-大规模、多云主机统一可观测实践

主题：迈向更高层次智能化的生成式软件开发

摘要

本次演讲聚焦于主机统一可观测领域的挑战、现状及阿里云的技术实践。主要内容包括：

1. 挑战与难点：

   • 基础监控与应用监控：覆盖主机的基础资源、网络、系统监控及上层应用运行监控。
   • 稳定与故障恢复能力：保证采集探针的可靠性和故障自恢复能力。
   • 自动化发现与安装：实现主机的自动化服务发现和采集探针的自动化安装。
   • 大规模采集问题：大规模主机环境下，如何保持低故障率运行和高效的故障自恢复。
   • 大数据使用与处理：从大规模指标数据中提取高价值指标并高效使用。
   • 统一存储问题：跨区域、跨账号的主机监控指标如何进行统一存储和查询。
   • 标签富化问题：多云主机的指标统一存储后进行标签富化。
   • 指标体系问题：多云主机监控指标的统一标准。
   • 网络问题：多云环境下的网络连通性。

2. 现状分析：

   • 两种类型主机监控现状：被动拉取模式和主动推送模式。
   • Windows主机监控现状：支持被动拉取和主动推送模式。
   • Linux主机监控现状：支持全托管Prometheus模式，提供多维度聚合视角观测。
   • 国外主要厂商主机监控现状：如Azure、NewRelic、AWS、DataDog等厂商提供的监控能力。

3. 阿里云技术实践：

   • 统一接入流程：全托管Prometheus模式，支持自动服务发现和Exporter自动化安装。
   • 指标采集架构：高性能采集探针，支持公网或专线推送。
   • 指标体系统一：提供统一存储和观测，支持高性能查询引擎。
   • 观测与告警：提供统一观测大盘和进程级大盘，支持统一告警配置与分析。
   • 实践收益：
     • 提高接入时效：秒级自动化服务发现。
     • 减少数据丢失：自动安装Exporter + 托管Prometheus。
     • 支持全类型主机：提供高性能指标采集探针。
     • 降低运维复杂度：统一观测与告警配置。

4. 总结：

   • 统一和简化接入方式，自动化服务发现和自动化探针安装，具有一定的故障自恢复能力。
   • 统一指标体系和自动化采集，提供全托管Prometheus采集模式。
   • 统一指标存储和观测，提供高性能查询引擎。
   • 统一观测和告警，支持多维度聚合视角观测和灵活告警通知配置。

通过上述内容，可以更好地理解和掌握主机统一可观测领域的挑战、现状及解决方案。