HR SaaS Zabbix 高可用方案实践-陈俊达

北森 Zabbix 高可用方案实践总结

北森监控系统的历史演进

北森监控系统的演进经历了四个阶段：

1. 1.0版本：Zabbix 3.x + 大量采集脚本 + Grafana
2. 2.0版本：Zabbix 4.x + 大量采集脚本 + 多数据中心 + 垂直扩展 + Grafana
3. 3.0版本：Zabbix 6.2 + 少量采集脚本 + 多数据中心 + 水平扩展 + Grafana
4. 4.0版本：持续演进中

当前架构存在的问题包括：

• Zabbix Server 单点，无法抵抗机器故障风险
• Zabbix Server 单点，维护、调整成本较高
• Zabbix Web Frontends 单点，无法抵抗机器故障风险
• Zabbix 版本较低，大量依赖自定义脚本采集，性能较低

Zabbix 单点遇到的问题

1. 修改配置文件后需要重启时间超长

   • 场景：日常维护修改配置文件
   • 影响：监控数据中断、告警无法计算，需在夜间重启
   • 升级6.x后：双点架构，重启备用节点不影响主节点，主节点重启时监控数据采集和告警不受影响，维护更方便

2. ZABBIX 扩容或修复安全问题

   • 场景：小版本升级或资源扩容
   • 影响：数据中断时间长，需提前通知业务线，多团队协作安排在周末
   • 升级6.x后：双点架构，可先对备用节点操作验证，验证通过后主备切换，数据不中断，业务无感知，协作时间更灵活

Zabbix 高可用架构的优势

1. ZABBIX 6.0 之前的高可用方案（Keepalived）

   • 问题：切换时间长，切换后需更新Zabbix Web Frontends配置

2. ZABBIX 6.0 原生高可用架构方案

   • 优势：切换时间短，Zabbix Web Frontends直接配置数据库地址获取当前Zabbix Server地址

3. ZABBIX 6.0 高可用架构机制

   • 数据库Status字段含义：
     • 0 Standby（备用状态）
     • 1 Stopped（停止状态）
     • 2 Unavailable（不可用状态）
     • 3 Active（活跃状态）
   • 高可用架构带来的优势：
     • Zabbix Server双点，无单点风险，维护更方便
     • Zabbix Web Frontends双点或多点，解决单点风险，提升前端性能
     • 维护时业务无感知

Zabbix 高可用架构设计和实施

1. 设计需求

   • Zabbix Server双点，抵御机器故障风险，增加可维护性
   • Zabbix Web Frontends双点或多点，解决单点风险，提升前端性能
   • Zabbix Server配置文件统一维护

2. 架构图

   • 未详细描述，但涉及Zabbix Server双点和Web Frontends双点或多点设计

3. 升级流程

   • 备份数据库
   • 搭建MySQL主从结构
   • 断开主从同步，升级主节点
   • 验证从节点升级正常后，切换Agent和Proxy到新节点
   • 重新搭建数据库主从结构
   • 部署Zabbix HA节点，验证功能正常

4. 升级过程中遇到的问题

   • 数据库MySQL版本选择
   • 升级前备份准备工作
   • 升级过程中磁盘写满
   • 模板监控项变量$1不支持
   • API接口变化导致告警无法发送

5. 新版本带来的优势

   • 主机组和模版组分开，管理更清晰
   • 问题页面和主机页面新增过滤器保存功能
   • Agent全面升级，减少自定义采集脚本，提高采集效率
   • 基础模板更新，采集指标更丰富
   • 借助版本升级进行指标标准化

Zabbix 开源社区支持体系

• 社区支持：

  • 每日社群交流
  • 每周每月每年LTS全程免费
  • 99元/年12节在线课程
  • 专家答疑、在线课、技术交流会
  • 中文使用手册、图书、小额众筹

• 支持体系：

  • 业余学习：在线课程
  • 认证学习：系统性提升
  • 公司大规模上新：方案规划和建议
  • 业务连续性要求：全年全面保障