点燃数据新动能 TDengine 构建智慧燃气行业新基座

TDengine 构建智慧燃气行业新基座 版权申明 变中求进 燃气行业数智化的机遇和挑战 1.1 燃气行业迎来数智化机遇 从国家能源局发布的《中国天然气发展报告（2024）》中可知：天然气在我国一次能源消费总量中占比 8.5%。这一数字远低于全球 24% 的平均水平，未来增量空间巨大。据中研产业研究院《2024-2029 年城市燃气产业现状及未来发展趋势分析报告》分析：随着居民生活水平的提高和工业化进程的加速，天然气作为清洁能源的需求将持续增长。特别是在城市燃气领域，随着城市化进程的推进和居民生活条件的改善，天然气需求将不断增加。同时，随着国家对环保要求的提高，天然气在发电、化工等领域的应用也将进一步扩大。 随着物联网、大数据和人工智能等技术的应用，城市燃气产业将实现智能化管理，提高运营效率，降低运营成本。智能燃气表、远程监控系统和预测性维护等技术将成为行业的新常态。 1.2 转型创新中的数据挑战 随着市场准入门槛的降低和新兴企业的涌入，城市燃气行业的竞争将更加激烈。传统燃气公司需要不断创新和转型以应对市场竞争，而新兴企业则凭借技术创新和差异化服务寻求突破。第 29 届世界燃气大会（WGC2025）的与会专家们认为：人工智能正在重塑城燃行业价值逻辑，但需从深化技术、完善数据治理、优化人才结构三个维度应对 AI 落地的挑战。在数据方面： 海量的物联采集挑战：当前，众多城燃企业已在燃气管网的关键部位部署了各类先进的传感器设备，实现了对管网压力、流量、温度、泄漏情况等关键参数的实时监测与数据采集。在智能燃气表方面，有些地区的智能燃气表覆盖率已超过 90%，全国智能燃气表年需求量已超过5000 万台。如何应对这些海量物联设备的数据接入，是燃气供应商和运营商首先要解决的问题。以国内某清洁能源供应商为例，在全国 21 个省市及自治区运营 261 个城市燃气项目，为 3138 万个住宅用户和超 27 万家工商业用户提供燃气服务；旗下企业应用物联网、大数据与人工智能等技术打造的能碳产业智能平台，服务于 5000 多家客户，每个客户有约 50 台设备，每台设备每分钟采集 10 到 20 个数据点，每秒的数据处理量 (TPS) 达到 9 万左右。 更高的数据质量要求：燃气行业正加速迈向智能化转型，也对燃气行业的数据质量提出了更高的要求。燃气企业需要通过精准的数据采集策略，从源头获取真实、全面的原始数据，需要面对数据来源的多样性、数据质量的参差不齐等问题。燃气企业还需解决多个数据源、多种数据类型融合对齐的问题，充分发挥各类数据源的优势，弥补单一数据类型的不足；燃气企业需整合 IT 系统、OT 系统以及客户行为数据，形成企业级数据资产，才能支撑 AI 模型的精准训练。 高级时序分析的门槛：安全是燃气行业的生命线，燃气安全曾是纯靠 “人盯脚量” 的苦活累活，传统模式下，安检员需手持检测仪穿梭于大街小巷，面对复杂密布的地下管网，漏检、误判风险始终存在。而 AI 的介入正将这一模式推向实时感知、智能分析与主动防控的新阶段。数据分析与预测技术也广泛应用于燃气智能供应，通过对大量燃气设施运行数据和用气数据的挖掘、分析与预测，燃气公司能够更加准确地了解市场需求，优化供气方案，实现用气异常预警，提高运营效率和降低成本。然而，业务人员使用这些复杂算法时，仍面临很高的应用门槛。以 AI 计量分析为例，需基于海量物联网计量数据，使用深度学习等技术，通过诊断设备健康情况、用气异常行为、输出分析报告等数智手段，减少计量偏差及气量损失。从集成系统采集时序数据，到模型的最终落地应用，道阻且长。 1.3 行业呼唤高效可靠的数据新生态 物联网与 AI 技术正在重塑燃气行业的运营范式；然而，企业在转型过程中面临着 “海量数据接入”、“数据资产化”、“AI 应用门槛” 等挑战。燃气行业迫切期待通过新一代时序数据平台实现数据新生态： 防控从 “人防” 到 “技防”数据从 “负担” 到 “资产”应用从 “复杂” 到 “敏捷” 燃气行业的未来属于以数据为核心、以安全为底线、以 AI 为引擎的新范式。而这一切的基石，是能够驯服海量时序数据的新一代数字底座。 时序困局 传统数据处理方案的局限性 燃气行业的时序数据广泛应用于能源生产、运输、加工和销售等环节，大量设备、传感器和监控系统持续生成时时序数据，用于支撑生产监控、调度优化和故障预警。随着业务数据量快速增长，时序数据记录条数巨大，数据的实时写入成为瓶颈，查询分析极为缓慢，构成了新的技术挑战。传统的关系型数据库、工业实时库、NoSQL 数据库、流式计算引擎以及其他数据基础设施由于没有充分利用时序数据的特点，性能提升极为有限，只能依靠简单地堆叠硬件，投入更多的计算资源和存储资源来应对。而且，由于组件繁多，整个系统的复杂度大幅提高，导致企业的研发、运营、维护成本急剧上升。 以下列举几个使用过传统数据处理方案的真实案例，说明企业在应用过程中面临的实际困难。 2.1 关系型数据库方案 某物联网产品及解决方案提供商在智慧燃气领域深耕多年，构建了覆盖数万家庭及工商业场景的燃气监控系统，采用 NB-IoT 通信技术 (正向 4G 平滑过渡) 实现实时数据采集与报警联动。随着设备规模接近十万量级，原有 MySQL 存储方案在时序数据高频写入和查询性能 上逐渐暴露瓶颈，分库分表的复杂度也带来了额外的运维负担。 MySQL 存储了大量数据后，写入和查询效率大幅衰减，特别是在复杂查询和聚合大数据集时性能下降更为明显； 数据压缩比低，占用了大量的磁盘空间；多用户或者应用访问时，会出现并发访问和锁的问题；数据分区和归档非常麻烦，系统异常后，数据恢复周期太长；数据协同效率太低，无法做到秒级数据同步。 2.2 传统工业实时库方案 某大型油田公司是国内最大的天然气生产基地，开发油田 35 个，年生产能力 2500 万吨以上；开发气田 13 个，年生产能力 500 亿方。公司使用 “SCADA 系统 + 工业实时库” 的方式，采集生产时序数据。存在工控系统满负荷、数据链路复杂等问题，在从 SCADA 系统向工业互联网平台过渡的过程遇到阻碍： 数据接口不开放，难以兼容：多个作业区/厂区使用孤立的 (实时、历史) 数据库，互不兼容；处理效率低：随着业务快速发展，测点规模倍增，不能满足高吞吐量插入和高并发查询要求；运维复杂：数据库操作复杂、数据通过多个产品被动复制同步，排查问题非常困难；数据分析能力偏弱：无法快速响应上层业务的大数据分析及创新应用；边云协同困难：作业区和厂级中心区数据协同非常困难，后续数据治理难度非常大，无法真正挖掘数据价值。 2.3 Hadoop 分布式文件系统或 NoSQL 数据库方案 国内某较大的清洁能源分销商，旗下企业通过信息化手段对能源站、燃气管网、燃气表等进行设备网联，实现高效管理和监测。日均处理数十亿条测点数据，依靠数千万台在线设备进行业务运营。为了满足不断增长的业务需求，企业曾采用 OpenTSDB 作为核心存储系统。OpenTSDB 是基于 HBase 开发的；而 HBase 是一款 NoSQL 数据库，它构筑在 Hadoop分布式文件系统 (HDFS) 之上。 然而随着应用场景的增多、联网设备的指数级增长，该方案的局限性日益凸显： 写入查询缓慢：企业在进行整体物联网数据处理平台搭建和升级的过程中，逐渐发现了OpenTSDB 写入性能和并发查询能力的不足，系统每秒只能处理 2.5 万到 8 万条数据，已难以匹配业务扩展的速度；存储成本高企：数据存储成本大幅度提升，存储资源的成本逐渐超出预期。运维压力巨大：重度依赖 HBase，数据量持续累积带来了巨大的运维压力，整体平台运维非常沉重。业务延时严重：数据从边缘侧采集到应用层展示有显著延时；报表计算也无法在限定时间内完成，严重影响了业务的时效性。 破局之道 TDengine 全栈时序数据处理平台 在燃气企业，物联网技术与大数据分析相结合，正逐渐展现出其巨大潜力，帮助燃气企业优化运营决策，提高资源利用效率和经济效益。城市燃气企业利用智能燃气表具和物联网平台实时采集用户用能数据，并通过大数据分析平台进行智能分析统计，使得企业能够更详细地了解客户的用气行为、消费能源的习惯以及用能设备的情况，为客户提供更精准、更多样化的能源服务。然而，在构建 “数据 - 资产 - 生产力” 的转化路径中，仍是崎岖不平。涛思数据团队创新性地推出一套新的产品解决方案 —— TDengine：一款高性能、分布式的物联网、工业大数据平台，其核心是一高性能、可水平扩展的时序数据库。TDengine 既不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品，而是基于涛思数据团队对众多传统关系型数据库、NoSQL 数据库、流式计算引擎、消息队列等软件的深入吸收和自主创新。TDengine 具备时序数据汇聚、存储、分析与分发的功能，并拥有独特的技术优势。 3.1 四位一体，TDengine 的创新解决方案 在燃气行业的时序数据处理方面，涛思数据团队提出 “四位一体” 的解决方案： 数据汇聚： TDengine 将来自燃气供应和储配现场的各种类型数据源 ( SCADA 系统、DCS 系统、PLC系统、设备传感器、工业实时库系统、关系型数据库、文件存储等) 的工业数据汇聚到一起，支持各类数据源和协议： 支持各类数据源和协议： 工业协议：OPC UA，OPC DA，MQTT消息队列：Kafka工业实时库：PI System，Aveva Historian时序数据库：TDengine，InfluxDB， OpenTSDB关系型数据库：Oracle，MySQL，SQL Server，PostgreSQLNoSQL 数据库：mongoDB文本文件：CSV 数据预处理： 对入库前的数据进行清洗、加工、转换工作，以保证入库数据的质量，便于集中监测、进行总体数据分析。并且，利用 TDengine 零代码数据写入的能力，只需很少的配置，即可实现工业数据源的 ETL (提取、转换和加载) 流程。 核心引擎： TDengine 使用创新的存储结构，实现高 10 倍以上的读写性能。TDengine 将汇聚的数据进行高效存储，通过列式存储、两级压缩以及针对不同数据类型的不同压缩算法等技术手段，实现了比通用数据库高十倍以上的压缩率。同时，通过按时间段分区、按设备分片、存算分离等技术，TDengine 提供了强大的水平扩展能力。 数据服务： 07TDengine 对外提供标准的 SQL 查询，提供流计算功能，提供标准的 JDBC、ODBC 接口以与众多的可视化、BI、AI/ML 工具无缝集成，提供支持 AI 的高级数据分析。TDengine 提供数据订阅功能，允许将处理后的数据实时分发给第三方应用。使用 TDengine 可以轻松构建起 “边云协同” 的级联解决方案。 3.2 化繁为简，TDengine 完美匹配行业需求的底层架构 TDengine 采用 “四位一体” 地解决方案，能完美地满足燃气企业对海量时序数据进行高质量处理和智能应用的期待。这得益于 TDengine 作为全栈时序数据处理平台的优势。 极简平台：典型的时序数据处理不仅仅需要一个时序数据库，还需要有消息队列、缓存和流式计算等组件的支持。为了简化系统设计和降低运行成本，TDengine 充分利用时间序列数据的特点，内置了自己的缓存、流计算和数据订阅功能。这为时间序列数据处理提供了一个全栈的技术解决方案，使得 TDengine 成为一个极简的时序数据处理平台。 详见：极简的解决方案 与传统架构对比：在时序数据处理平台的通用设计中，数据被采集并写入消息队列，然后通过消费，进入 ETL 进行数据清洗转换，随后写入数据库 (如 HBase、MongoDB 或MySQL) 做持久化存储。同时，平台还会将最新数据缓存在 Redis 中，并将数据送入 Spark或 Flink 等流式计算工