6-5 PostGIS 在气象业务系统中的实践

气象业务典型需求

• 公众天气查询：包括格点天气预报查询和站点要素查询（温度与等温线）。
• 行业预警分析：涉及国网气象预警和航空气象预警。
• 多维气象可视化：包括时序数据可视化和高度数据可视化。
• 需求与数据小结：格点和站点是主要气象数据形式，站点可通过空间插值或专业算法生成格点数据，格点数据可生成等值线面数据，各类数据应用于不同业务场景。

数据简介与存储设计

• 格点数据简介：气象格点数据近似于GIS栅格数据，每个格子的数值表达一种结果映射，数据特征复杂，多维、数量与体积大，通常使用NetCDF、GriB等文件存储。
• 格点数据特征：维度多（物理量/要素、时间、高度、平面经纬度），数据大（由元数据和数值数组组成）。
• 站点数据简介：由空间元数据和多维时序监测数据组成。
• 行业存储现状：存储现状无法满足业务需求。
• 业务对存储的要求：时序数据库、空间数据库、事务数据库、分析数据库、文件数据库、分布式数据库。
• 选择PostgreSQL的原因：技术复杂度低、支持多种数据类型存储、支持查询、分析、可视化业务、性能良好、PG生态强大。
• 业务存储设计：借重PG生态，灰度图数据有损压缩气象格网，支持PostGIS、GDAL、网络切片使用，灰度图以栅格文件存储，基于PostGIS空间数据混合分析。
• 基于灰图的格点数据压缩简介：通过Float32Array到Unit8Array归一化映射实现有损数据压缩，优势是减少查询开销和网络传输问题，劣势是不适用数据精度高的产品。

格点时序查询实践

• 基于PostGIS Raster的实践：尝试原因包括气象格点Tif能导入数据库、与气象业务契合的API、业务架构创新性。
• 业务架构的创新（云存储）：采用云存储方案。
• 基于PG Raster的时序穿透查询示例：使用raster2pgsql工具导入，ST_Value进行格点查询。
• 时序穿透查询测试案例说明：业务场景为3601*1801分辨率格网，查询任意一点经纬度连续80个时刻数据。
• 测试结果：in-db性能比out-db快，ST_Value性能不如gdal读取影像快。
• ST_Value性能瓶颈分析：加载整个tile的rast再计算，导致性能不划算。
• 最终时序穿透查询方案：单点时序直接采用gdal访问栅格文件，rast值使用率高时进行矢栅分析扩展。

预警分析与可视化实践

• 气象预警分析优化案例介绍：业务场景为统计受暴雨影响的业务点信息，查询耗时37.6秒，性能瓶颈在于气象等值面不规则导致Rtree索引失效。
• 空间分析性能优化可用方案介绍：更改geom、rast大对象列存储模式为无压缩模式，强拆Multi图形类型为Single类型，ST_Subdivide切割不规则Single图形，空间索引聚集，并行计算，分布式计算。
• 更改列的存储模式：修改为不压缩模式后，查询性能提升10倍。
• 强制拆分Multi类型为Single类型：查询耗时优化到885ms。
• ST_Subdivide切割不规则面：查询耗时优化到40.006ms。
• 索引聚集：查询耗时优化到35.263ms。
• 地理并行计算：随着并行计算worker数量增加，地理查询耗时逐渐减小，worker数量=4较优。
• 矢量切片+并行计算助力可视化：基于ST_AsMVT的动态矢量切片服务+PG并行计算，实现毫秒级别加载。
• 多条件矢量切片性能优化小技巧：使用union all替换in优化性能。
• 灰度图（或灰图切片）可视化：实现连续20个时刻的雷达等值面加载显示与时序播放。
• 分析与可视化总结：PG和PostGIS功能多、专业性强，适合解决气象业务数据查询、分析、可视化问题；PG生态丰富，支持业务进一步扩展；PG功能和API丰富，但需结合业务场景测试性能和需求。