登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
seedance2.0
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
6-5 PostGIS 在气象业务系统中的实践
公用事业
2022-07-19
DataFunSummit2022:大数据存储架构峰会
惊雷
气象业务典型需求
公众天气查询
:包括格点天气预报查询和站点要素查询(温度与等温线)。
行业预警分析
:涉及国网气象预警和航空气象预警。
多维气象可视化
:包括时序数据可视化和高度数据可视化。
需求与数据小结
:格点和站点是主要气象数据形式,站点可通过空间插值或专业算法生成格点数据,格点数据可生成等值线面数据,各类数据应用于不同业务场景。
数据简介与存储设计
格点数据简介
:气象格点数据近似于GIS栅格数据,每个格子的数值表达一种结果映射,数据特征复杂,多维、数量与体积大,通常使用NetCDF、GriB等文件存储。
格点数据特征
:维度多(物理量/要素、时间、高度、平面经纬度),数据大(由元数据和数值数组组成)。
站点数据简介
:由空间元数据和多维时序监测数据组成。
行业存储现状
:存储现状无法满足业务需求。
业务对存储的要求
:时序数据库、空间数据库、事务数据库、分析数据库、文件数据库、分布式数据库。
选择PostgreSQL的原因
:技术复杂度低、支持多种数据类型存储、支持查询、分析、可视化业务、性能良好、PG生态强大。
业务存储设计
:借重PG生态,灰度图数据有损压缩气象格网,支持PostGIS、GDAL、网络切片使用,灰度图以栅格文件存储,基于PostGIS空间数据混合分析。
基于灰图的格点数据压缩简介
:通过Float32Array到Unit8Array归一化映射实现有损数据压缩,优势是减少查询开销和网络传输问题,劣势是不适用数据精度高的产品。
格点时序查询实践
基于PostGIS Raster的实践
:尝试原因包括气象格点Tif能导入数据库、与气象业务契合的API、业务架构创新性。
业务架构的创新(云存储)
:采用云存储方案。
基于PG Raster的时序穿透查询示例
:使用
raster2pgsql
工具导入,
ST_Value
进行格点查询。
时序穿透查询测试案例说明
:业务场景为3601*1801分辨率格网,查询任意一点经纬度连续80个时刻数据。
测试结果
:in-db性能比out-db快,ST_Value性能不如gdal读取影像快。
ST_Value性能瓶颈分析
:加载整个tile的rast再计算,导致性能不划算。
最终时序穿透查询方案
:单点时序直接采用gdal访问栅格文件,rast值使用率高时进行矢栅分析扩展。
预警分析与可视化实践
气象预警分析优化案例介绍
:业务场景为统计受暴雨影响的业务点信息,查询耗时37.6秒,性能瓶颈在于气象等值面不规则导致Rtree索引失效。
空间分析性能优化可用方案介绍
:更改geom、rast大对象列存储模式为无压缩模式,强拆Multi图形类型为Single类型,ST_Subdivide切割不规则Single图形,空间索引聚集,并行计算,分布式计算。
更改列的存储模式
:修改为不压缩模式后,查询性能提升10倍。
强制拆分Multi类型为Single类型
:查询耗时优化到885ms。
ST_Subdivide切割不规则面
:查询耗时优化到40.006ms。
索引聚集
:查询耗时优化到35.263ms。
地理并行计算
:随着并行计算worker数量增加,地理查询耗时逐渐减小,worker数量=4较优。
矢量切片+并行计算助力可视化
:基于ST_AsMVT的动态矢量切片服务+PG并行计算,实现毫秒级别加载。
多条件矢量切片性能优化小技巧
:使用union all替换in优化性能。
灰度图(或灰图切片)可视化
:实现连续20个时刻的雷达等值面加载显示与时序播放。
分析与可视化总结
:PG和PostGIS功能多、专业性强,适合解决气象业务数据查询、分析、可视化问题;PG生态丰富,支持业务进一步扩展;PG功能和API丰富,但需结合业务场景测试性能和需求。
你可能感兴趣
6-5 Spark 读写 Iceberg 在腾讯的实践和优化
商贸零售
DataFunSummit2022:多维分析架构峰会
2022-07-18
1-2 个性化强化学习技术在京东新品流量分发系统中的实践与应用
商贸零售
DataFunSummit2022:决策智能在线峰会
2022-11-02
推荐系统在腾讯游戏运营中的实践_王佳强
商贸零售
ArchSummit深圳2022|全球架构师峰会
2022-07-19
QUIC协议在分布式系统架构中的实践_李龙彦
商贸零售
ArchSummit深圳2023|全球架构师峰会
2023-08-02
大模型在推荐系统中的落地实践
商贸零售
Aicon
2024-10-18