监控业务的挑战与演进
监控架构的历来演进
数据库管控运维中的监控是保障可靠性、可用性和性能的基础能力。监控业务需满足规模化、高性能、实时性和准确性等要求。
现有架构的优缺点
- 优点:拥抱开源、定制少、开发量小
- 缺点:精简架构可能降低线下交付效率,且长期演进成本高
- 策略:基于现有架构不新增组件,通过高度可扩展设计实现配置化
监控场景的时序数据
时序数据特点:以固定时间间隔高频写入,不同序列按各自频率写入数据点,写占比超过90%。
数据聚合与查询场景
- 多维度聚合:按指定维度分组聚合,支持Web页面展示(图表、报表、多维度、多粒度、环比、同比)
- 多标签聚合:组合多个维度为标签进行聚合
- 顺序范围读:按时间顺序读取并支持范围查询
- 多序列聚合:将时序数据划分为多个序列分别聚合
- 写多读少:写操作占比超90%,需优化冷热分离数据管理
数据存储与管理方案
传统方案(不推荐)
- 单表存储:仅适用于极简场景,数据量大时运维困难
- 分区子表:支持多维度分区,但维护复杂且可能增加IO次数
优化方案
- 多维度分区:根据多个维度切分数据,提升管理效率
- 超表:使用超表简化管理,但创建维护成本高
- PG扩展方案:兼容PG生态,通过连续聚合(Chunk)和异步计算提升查询性能
核心能力与未来展望
- 内置任务调度框架:支持异步压缩、行存列存转换、持续聚合
- 标准化:推动监控业务标准化,便于管理和扩展