6-4 大象时序 TimescaleDB 在专网领域的应用与实践

时序数据

• 定义：时间序列数据是集体表示系统、流程或行为如何随时间变化的数据。
• 特征：以时间为中心、仅附加操作、最近性、非覆盖性。
• 分类：监控数据、金融交易数据、物联网数据、事件应用程序数据、商业智能数据、环境监测数据。

TimescaleDB

• 特点：
  • 基于时序优化。
  • 自动分片（按时间、空间）。
  • 全SQL接口。
  • 支持垂直与横向扩展。
  • 支持时间维度、空间维度自动分区。
  • 支持多个SERVER、多个CHUNK的并行查询。
  • 自动调整CHUNK的大小。
  • 内部写优化（批量提交、内存索引、事务支持、数据倒灌）。
  • 复杂查询优化（自动选择CHUNK、最近值获取优化、并行聚合操作）。
• 核心概念：
  • 超表和块：超表是抽象的连续表格，块是内部自动分割的数据集。
  • 分布式超表：支持跨多个节点分布超表，扩展插入和查询功能。
• 功能：
  • 压缩：支持本地压缩存储，降低存储需求，加快查询速度。
  • 数据过期与保留：支持自动数据保留策略，删除旧数据以节省空间。
  • 备份还原：利用PostgreSQL的可靠功能进行备份和还原。

测试

• 专网业务需求：关系型数据模型、SQL查询语言、企业级可用性、社区支持、GIS空间数据支持。
• 时序型数据库对比：
  • InfluxDB：专为时序数据设计，高性能，但开源版本仅支持单节点。
  • Kdb+：适合实时数据与分析，但硬件和存储架构无特殊需求。
  • TimescaleDB：基于PostgreSQL，支持SQL，利用PostgreSQL特性，可靠性高。
• 性能测试：
  • PG单机测试：内存32G，CPU Intel Xeon，磁盘空间1.1T，测试不同查询性能。
  • TimescaleDB测试：对比PG单机测试，执行时间约500ms。

基于专网业务的使用实战

• 专网通信业务诉求：数据库稳定性、高可用性、数据安全性、加密、软件成本。
• 选择PostgreSQL的原因：
  • 多副本同步复制。
  • 活跃的社区支持。
  • 空间数据库。
  • 全文检索。
  • 丰富的安全控制机制。
  • 丰富的外部扩展支持。
  • 完善的SQL标准支持。
  • FDW外部表支持。
  • 维护和使用成本低。
• PostgreSQL在海能达的应用：
  • 第一条主营业务线切换至PostgreSQL。
  • 第一个产品切换选用PostgreSQL。
  • 各业务线全面切换至PG数据库。
• 未来：
  • 平台融合、业务架构融合、数据存储融合。
  • 数据存储层需求：PostgreSQL、国产信创DB、时序型数据库、大数据离线分析。