时序数据库CTSDB助力车联网传感器构建一站式存储

时序数据爆炸时代的挑战 ⼀个车型30万辆车，每辆车的传感器采集200指标，采集指标⾼达6000万CAN数据采集频率1Hz，该车型数据写⼊就⾼达每秒6000万数据点，每天超5万亿数据点写⼊ 传统解决⽅案 痛点 痛点 Ø单机瓶颈： Ø查询时延⾼P99>10sØ存储成本⾼、压缩⽐较低Ø组件维护成本Hbase/ZK/TSDØ社区活跃度低、停⽌更新 ⽆法⽔平扩展性能数据容量受限 痛点 Ø单点故障 Ø查询慢：数据查询分析慢Ø时效差：时效性差Ø稳定性：HBaseFullGC、链接打满 单机⽆⾼可⽤ 时序数据库CTSDB 千万级实时数据写⼊、数据压缩⽐超过20倍，重构海量时序数据管理新范式 时序数据库CTSDB是腾讯⾃研的专注于⾼性能读写海量时序数据的分布式NoSQL，兼容开源InfluxDB协议，⽀持按需弹性伸缩、存储冷热分层等。适⽤于车企车联⽹、出⾏轨迹、DevOps监控观测系统的数据存储、电⼒能源和制造的设备物联⽹场景 20:1⾼压缩⽐降本 列式存储，匹配⾼压缩算法，⼤幅度降低存储成本 10PB单业务存储规模线上运⾏实例存储规模数⼗PB 7+年线上运营 从集团内部到云上客户，时序数据库经过诸多重要业务验证 ⾼性能-时序存储引擎 列式存储-时间线 基于TSM结构，将设备上报的单个字段（如某个机器的CPU利⽤率）作为⼀条时间线，按聚合存储数据，提供远超普通数据库的超⾼的查询和压缩性能 ⾼性能：流式查询和算⼦下推 流式查询，优化⼤查询不⽤接受完整结果就可启动合并，避免Gateway囤积⼤量数据， ⽀持⼤查询 ⾼效groupby重构⼤量迭代器，groupby耗时降低5/6 算⼦下推，秒级聚合分析⽀持min/max/sum/count/mean等算⼦下沉到存储节点执⾏，提升查询速度 点查查询优化⾄10ms针对指定查询，提供hint语法，可直达数据所在partition，跳过倒 排索引直达数据，耗时10ms级 ⽀持丰富聚合算⼦⽀持InfluxQL函数如min/max/sum/count/mean/percentile等 ⾼可⽤——单点容错 接⼊层gateway异常 gateway上报状态 gateway拨测 10s内切换故障gateway 存储异常 Leader异常：raft10秒内切换gateway上报存储机成功率 灰⾊故障 内存MCE/坏盘等NodeAgent主动探测systemlog剔除 开源兼容：⽣态组件 ⼤数据⽣态兼容 InfluxDB协议⽣态全兼容迁移上云0成本 可与消息中间件kafka、⼤数据⽣态spark、Flink等对接，融合解决⽅案 兼容上下游组件Telegraf,Chronograf,Kapacitor,Grafana等组件 Prometheus⾼可⽤存储 Prometheusremotewrite/read 低成本——⾼效压缩 出⾏车联⽹——新势⼒车企 业务痛点 Ø稳定性：开源组件⾃⾝稳定性不佳，⼤查询对内存资源开销⼤ Ø车联⽹TSP系统，⽬前保有量数⼗万辆智能⽹联车，逐渐增长到百万辆Ø原⽅案⾃建Cassandra存储全量数据，双副本PB级别 Ø扩展需停服：扩容需停服进⾏⼿动数据均衡，迁移数据慢5GB/20s Ø成本⾼：Cassandra压缩⽐低 出⾏车联⽹——某车企 业务描述 Ø数据体量：数据存储3个⽉，⾃建Cassandra/hbase共数百TBØ车辆指标：每⽇数亿条数据，每车数千指标(车辆状态、电池电机) 业务痛点 Ø实时性：电池⾼温⼤数据实时预警，交通事故关怀，要求数据实时性Ø稳定性：车辆⾼峰期，开源技术栈遇到写⼊性能瓶颈Ø成本⾼：HBASE通⽤压缩格式，压缩⽐低，数据存储成本⾼ CTSDB⽅案 秒级弹性扩展应对业务⾼峰 毫秒级可查实时预警 ⼯业物联⽹——三⼀重⼯ 【业务诉求】 【业务痛点】 数据安全：TDx数据丢失风险，开源⽆备份能⼒扩展性：数据量扩容需停服，⼿动数据均衡，难扩展 Ø环卫车辆和⼯程车辆⼯况数据，车辆底盘和上装数据Ø内部车辆需要数据过期，外部托管车辆永久或半年存储Ø提⾼车辆效率：如百公⾥能耗，⼀⼩时作业能耗，统计每天的出车数等Ø查询电池历史表和车辆状态历史表 【客户收益】 安全：腾讯云InfluxDB采⽤3副本3AZ部署，保障数据安全扩展：⼀键弹性扩容，⾃动数据均衡，提⾼⽣产效率 监控系统|IOT——美团 业务场景 Ø内部监控：OpenTSDB30天+TDengine7天Ø外卖配送：IOT设备状态轨迹等信息 Tdengine7day 客户业务痛点 ⽤户价值 Ø稳定性⾼：反复压测，稳定运⾏上线Ø弹性扩容：分布式⾃动横向扩容Ø读写性能强：指标查询P99延时降低89%，查询成功率从90%提⾼到99%；平均写⼊延时降低24%Ø存储成本低：数据存储占⽤降低94%Ø运维成本低：节省运维⼈⼒成本，稳定性提升 OpenTSDB30dayØ维护成本：开源组件多Hbase/ZK/TSD，维护复杂Ø查询性能：查询时延⾼较低TDx开源时序7dayØ稳定性：数据同步堵塞读写操作Ø数据均衡：分⽚间数据不均，部分设备热点 Thanks 欢迎各位垂询试⽤腾讯云时序数据库