可观测性场景下SelectDB流式聚合增强

Doris Summit Asia 2024 可观测性场景下 SelectDB 流式聚合增强

观测云存储架构

• GuanceDB 支撑观测云全量业务场景。
• GuanceDB 系统架构包括 Query Engine（解析器、规划器、优化器、执行器、管道、数据源）和 Storage Engine（MetricStore、SelectDB）。
• SelectDB 数据源接入方式：
  • 使用 Thrift 接口降低传输开销。
  • 查询引擎根据 DQL 查询语义和 SelectDB SQL 函数支持情况动态选择聚合下推或谓词下推。

SelectDB 的应用与挑战

• Dynamic Schema 动态表 VS Variant 可变数据类型：
  • 相同点：都能支持跟随数据维度变化动态维护表结构。
  • 关键差异：Dynamic Schema 作用于当前表的完整生命周期，而 Variant 的作用域只在当前的动态分区内。
• 落地效果：
  • 聚合查询性能提升 20+ 倍。
  • 业务透明，自动根据数据量进行聚合采样，可手动关闭采样。
• 挑战：
  • BE 的资源利用率不稳定，间歇性地抖动影响写入和查询性能。
  • 查询时间范围动态变化，难以通过 SelectDB 自带的物化视图支持。
  • 来源包括周期触发的告警检查器、前端页面间隔刷新的仪表盘、业务内周期触发的业务统计查询。
• 流式聚合预期效果：
  • 支持全量聚合函数，支持全部数据源。
  • 支持任意时间范围和聚合周期。
  • 支持数据乱序写入，无窗口时间限制。
  • 业务透明，无需额外手动配置。

流式聚合系统设计

• Push 模型：数据主动流向算子。
• 聚合函数中间状态实现：
  • 拆分时间片，查询时根据需要的间隔自由组合结果。
  • 每个聚合函数单独实现，分位数计算使用 ddsketch，distinct 计算使用 hyperloglog。
  • 多线程并行计算、多节点并行计算、跨时间先后计算。
• 流式聚合数据流：
  • 流式输入、存储、投影、聚合、选择、保存状态、恢复状态、插入、Select。