8-3 日志系统之高效检索

日志系统之高效存储

Overview

• 组件: AgentSDK (支持Java、Golang、C#、NodeJs等), Collector, ETL, TSDB, Analyzer, HDFS/ES, HIVE/CH, Metric。
• 应用场景: Central Logging, 日志存储量达2PB/天。

Clog

• 系统特点: 写多查少, 高性能写, 条件组合查。
• 高性能写: 采用Mem Block、HDD顺序写、稀疏索引。
• 条件组合查: ES倒排索引。
• 数据结构: Block, 倒排索引, filename+position, indexer ip-文件保留天数-创建时间, appid, host, from, to, level, title, tag, key, tag, value, message, logger (string, string, long, long, int, string, string, string, string, string)。

CAT

• 系统特点: 写多查少, traceId点查。
• 存储: HDFS。
• 文件数限制: 索引。
• V5编码: 数据appId-appIp-catIp.data, 索引appId-appIp-catIp.index (稠密, 6B), 文件过多？
• V6编码: 数据appId-catIp.data, 索引appId-catIp.index (8B, 8 * 4096, 4096), id跳跃？

TSDB

• 系统: OpenTSDB, Prometheus, VictorialMetrics。
• 配置: 200 40C256G 4T SSD, ClickHouse 600 32C128G 80T HDD。

Q&A