登录
注册
回到首页
AI
搜索
发现报告
发现数据
发现专题
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
中央经济工作会议
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
6-5 PostGIS 在气象业务系统中的实践
公用事业
2022-07-19
DataFunSummit2022:大数据存储架构峰会
惊***
AI智能总结
查看更多
气象业务典型需求
公众天气查询
:包括格点天气预报查询和站点要素查询(温度与等温线)。
行业预警分析
:涉及国网气象预警和航空气象预警。
多维气象可视化
:包括时序数据可视化和高度数据可视化。
需求与数据小结
:格点和站点是主要气象数据形式,站点可通过空间插值或专业算法生成格点数据,格点数据可生成等值线面数据,各类数据应用于不同业务场景。
数据简介与存储设计
格点数据简介
:气象格点数据近似于GIS栅格数据,每个格子的数值表达一种结果映射,数据特征复杂,多维、数量与体积大,通常使用NetCDF、GriB等文件存储。
格点数据特征
:维度多(物理量/要素、时间、高度、平面经纬度),数据大(由元数据和数值数组组成)。
站点数据简介
:由空间元数据和多维时序监测数据组成。
行业存储现状
:存储现状无法满足业务需求。
业务对存储的要求
:时序数据库、空间数据库、事务数据库、分析数据库、文件数据库、分布式数据库。
选择PostgreSQL的原因
:技术复杂度低、支持多种数据类型存储、支持查询、分析、可视化业务、性能良好、PG生态强大。
业务存储设计
:借重PG生态,灰度图数据有损压缩气象格网,支持PostGIS、GDAL、网络切片使用,灰度图以栅格文件存储,基于PostGIS空间数据混合分析。
基于灰图的格点数据压缩简介
:通过Float32Array到Unit8Array归一化映射实现有损数据压缩,优势是减少查询开销和网络传输问题,劣势是不适用数据精度高的产品。
格点时序查询实践
基于PostGIS Raster的实践
:尝试原因包括气象格点Tif能导入数据库、与气象业务契合的API、业务架构创新性。
业务架构的创新(云存储)
:采用云存储方案。
基于PG Raster的时序穿透查询示例
:使用
raster2pgsql
工具导入,
ST_Value
进行格点查询。
时序穿透查询测试案例说明
:业务场景为3601*1801分辨率格网,查询任意一点经纬度连续80个时刻数据。
测试结果
:in-db性能比out-db快,ST_Value性能不如gdal读取影像快。
ST_Value性能瓶颈分析
:加载整个tile的rast再计算,导致性能不划算。
最终时序穿透查询方案
:单点时序直接采用gdal访问栅格文件,rast值使用率高时进行矢栅分析扩展。
预警分析与可视化实践
气象预警分析优化案例介绍
:业务场景为统计受暴雨影响的业务点信息,查询耗时37.6秒,性能瓶颈在于气象等值面不规则导致Rtree索引失效。
空间分析性能优化可用方案介绍
:更改geom、rast大对象列存储模式为无压缩模式,强拆Multi图形类型为Single类型,ST_Subdivide切割不规则Single图形,空间索引聚集,并行计算,分布式计算。
更改列的存储模式
:修改为不压缩模式后,查询性能提升10倍。
强制拆分Multi类型为Single类型
:查询耗时优化到885ms。
ST_Subdivide切割不规则面
:查询耗时优化到40.006ms。
索引聚集
:查询耗时优化到35.263ms。
地理并行计算
:随着并行计算worker数量增加,地理查询耗时逐渐减小,worker数量=4较优。
矢量切片+并行计算助力可视化
:基于ST_AsMVT的动态矢量切片服务+PG并行计算,实现毫秒级别加载。
多条件矢量切片性能优化小技巧
:使用union all替换in优化性能。
灰度图(或灰图切片)可视化
:实现连续20个时刻的雷达等值面加载显示与时序播放。
分析与可视化总结
:PG和PostGIS功能多、专业性强,适合解决气象业务数据查询、分析、可视化问题;PG生态丰富,支持业务进一步扩展;PG功能和API丰富,但需结合业务场景测试性能和需求。
你可能感兴趣
6-5 Spark 读写 Iceberg 在腾讯的实践和优化
文化传媒
DataFunSummit2022:多维分析架构峰会
2022-07-18
1-2 个性化强化学习技术在京东新品流量分发系统中的实践与应用
文化传媒
DataFunSummit2022:决策智能在线峰会
2022-11-02
推荐系统在腾讯游戏运营中的实践_王佳强
文化传媒
ArchSummit深圳2022|全球架构师峰会
2022-07-19
QUIC协议在分布式系统架构中的实践_李龙彦
信息技术
ArchSummit深圳2023|全球架构师峰会
2023-08-02
大模型在推荐系统中的落地实践
Aicon
2024-10-18