开放式全球视野（OGE）研究与应用报告

龚健雅 1.1研制背景 谷歌地球引擎发展新型时空信息应用范式 1.2研制目标 1.3研制内容 关键技术1--多层次就绪的弹性伸缩系统架构 设计弹性伸缩和多层次就绪的系统架构，支持数据、算力、算法的灵活接入，动态汇聚多源、海量异构的地球时空大数据，弹性聚合地球时空分析领域的处理方法、分析算法和AI模型 关键技术2--多源融合表达与一体管理的GeoCube 提出多源融合建模与一体管理的时空立方体结构GeoCube，实现全球大规模对地观测数据的就绪型管理，在空间上对齐并组织为适用于大规模长时序计算的分析就绪数据 关键技术3--可扩展、高性能的开放时空算子体系 构建基于标准化、可扩展、高性能的开放时空算子体系，内置提供了一套覆盖失量、栅格计算，满足常见时空分析场景的云原生时空算子集，也可以集成丰富的开源软件算法，还可以导入用户开发的专业模型 关键技术4--融合遥感深度学习框架与标准样本标注 集成遥感领域自主可控的专用深度学习框架LUOJIANET和大规模开源遥感样本库LUOJIASET，支持我 们在OGC提出的首个地理人工智能国际开放标准TrainingDML-AI 2.1OGE平台上线（http:l/www.openge.org.cn） OGE平台应用中心基于后端的数据与计算能力，提供于旱分析、水体提取、植被指数等应用模型用户可以开发自已的应用系统 2.2OGE资源汇聚（已入库数据） （已入库数据）2.2OGE资源汇聚 10GF1数据覆盖情况（2013景） （已入库数据）2.2OGE资源汇聚 GF6数据覆盖情况（581片） （已入库数据）2.2OGE资源汇聚 2）Sentinel-2数据覆盖情况 2.2OGE资源汇聚（已入库数据） 3）Landsat数据覆盖情况 （正在入库数据）2.2OGE资源汇聚 >Hi-GLASS产品 2.2OGE资源汇聚（正在入库数据） >风云卫星数据 2.2OGE资源汇聚（已开放算子） 口栅格算子：涵盖数据处理、数学分析、提取分析、臂加分析、重采样、邻域分析、局部分析、掩膜格网化和表面三角化工具，共计10大类、112个算子 口矢量算子：涵盖数据处理、要素工具、编辑工具叠加分析、邻近分析和提取分析，共计6大类、86 技术文档 (http://openge.org.cn/help/technicalDoc/oge-application-develop.html#2) 个算子 口空间分析算子：涵盖DEM分析（34个）和各类空间统计算子（19个），共计2大类、53个算子 口专题算子：应用相关算子，如碳排放计算算子，共 6个算子 口遥感图像处理算子：涵盖OrfeoToolbox/SAGA核心算子、特征提取、机器学习等 2.3交互式时空云计算 交互式计算的需求 复杂时空问题的求解过程 任务流编排存在整体性和静态性约束目前仅支持将完整流程提交到云端整体执行，不支持细粒度的流程提交与动态的局部调整。 任务流计算未考虑链路几余处理问题 未考虑不同任务流之间因具有相同处理链路而产生的计算完余问题，导致系统计算资源的浪费。 构建流程一→脚本解析→执行作业→返回结果 针对上述需求与问题，开展时空任务流编排、1计算优化与调度优化策略的研究 2.3交互式时空计算 （1）时空代码流程：由一系列代码脚本有序组合而成 （2）时空任务流图：由一系列时空任务单元有序组合而成 （3）时空算子序列：由一系列系统可执行的算子有序组合而成 （4）分布式时空计算作业：由一系列以数据块为核心的分布式计算任务组合而成 2.3交互式时空计算 基于前序任务流图之间的结构相似性与任务共现性，梳理了四种基础可复用情形及综合可复用情形，并设计了应对策略 （a）裁剪前序图al相关逻辑并复用其结果（b）分别裁剪bl与b2的逻辑并复用其结果：（c）先进行余化操作再分别裁剪与复用：！（d）裁剪前序图d1相关逻辑并复用其结果；I（e）综合应用多种处理机制，同时注意重构顺序 2.3交互式时空计算 水体提取的交互式计算过程 分阶段构建时空代码流程针对性查看时空计算结果送代式执行局部分析流程，对局部代码参数的调整与修改只会影响到依赖于它的时空任务流图，不会影响到全时空代码流程中不依赖于它的时空任务流图 2.3交互式时空计算 实验环境 评价指标 实验数据 实验机器：DellEMCPowerEdgeR750v执行环境：LivySparkSessionV分配资源：8个CPU核与16GB内存 执行时间 根据案例具体需要从OGE数据服务获取 优化指数：非增量式计算策略下执行时间与增量式计算策略下执行时间的比值 案例：武汉市遥感影像数据 相较于非增量式计算，增量式计算的执行时间有了显著的降低，各地图层级下的优化指数均在6左右 2.4细粒度混合编排 GEE等平台以任务流为单元进行组且织，仅能基于平台自有算子进行有限任务编排，难以与第三方算子协同，函需设计统一、松耦合、细粒度的混合编排方法，支持python函数、AI模型、开源方法与原生算子的协同，实现异构计算引擎集成的时空数据精细处理 2.4细粒度混合编排 关键技术点： （a）计算流图生成与划分（b）异构数据结构统一转换（c）多元计算引擎高性能协同 2.4细粒度混合编排 报告提纲 开放地球引擎（OGE） OGE研究进展 OGE平台应用 3.2东方航天港数智中心 针对开放获取数据设计实现了自动化井行入库工具 3.1东方航天港数智中心 构建时空立方体就绪型数学地球管理框架与云服务平台，为东方慧眼，以及全球范围的遥感影像、数字高程、地物失量、定量遥感、遥感解译样本、卫星虚拟星座，以及物联网等多源、异构、海量感知数据提供统一时空基准与数据底座 3.1东方航天港数智中心 设计负载均衡的分布式存储，提供海量观测数据的低延时访问，并基于云环境计算对象映射和计算资源自适应调度，实现大规模遥感数据的并行计算，提供高并发的遥感分析响应能力 3.2OGE遥感教育云平台 在开放地球引擎（OGE）核心能力的基础上，研发OGE遥感教育云平台，为高等院校提供测绘遥感类课程在线实习/实训云平台，支持实习课程管理、实习进度管理，以及测绘遥感创新比赛。 3.2OGE遥感教育云平台 √平台在线提供数据资源和实习课程，支持云端更新 管理员在线管理实习课程；老师在线创建实习课程、发布实习任务；学生在线参加实习、提交实习成果 3.2OGE遥感教育云平台 OGE教育云平台打造了赛事中心，为测绘遥感类学生提供应用创新比赛平台，支持遥感解译、算法设计和应用开发等多个赛道的比赛 3.3国家自然科学基金重大项 陆表智慧化定量遥感的理论与方法研究 口国产平台+国产数据应用 OGE集成高分等国产卫星遥感楼数据，项自基于OGE和国产数据开展陆表能量平衡、水循环、碳循环参量和土地覆盖智慧化定量反演，解决国产卫星遥感数据应用瓶颈 3.3国家自然科学基金重大项自 ■多源遥感数据“时-空-谱-角”一致性预处理技术 建立多源数据的按需接入机制，支持主流EO开放数据的检索与自动解析入库，突破多源遥感数据“时-空谱-角”一致性预处理技术，建立了面向国产高分数据（GF1和GF6）的分析就绪预处理框架，为遥感定量反演提供连续性和一致性的分析就绪数据 3.3国家自然科学基金重大项自 面向智慧反演的虚拟星座数据集构建技术 通过输入遥感高级产品（LAI、FAPAR、NDVI..），重建MODIS、Landsat8反射率数据，实现对原始影象云、阴影等缺失区域的填补。自前算法正测试迁移到高分系列卫星，实现16m分辨率地表反射率的重构 致性预处理、虚拟星座构建技术为智慧化定量反演提供具有空间与辐射一致性的虚拟星座数据集 3.3国家自然科学基金重大项自 在时空立方体组织模型、一致性预处理技术、虚拟星座构建技术等基础上，OGE可 为长时序、大范围遥感定量反演提供智慧虚拟星座开放平台和时空基础设施支撑 3.4国能时空信息智能服务平台 针对国家能源集团国内各单位乃至全球业务对时空信息服务的需求，基于OGE时空数据、算法、算力耦合的新型时空信息基础设施架构，构建面向能源行业上下游产业链，北斗导航定位、时空智能与遥感监测评估三位一体的时空智能服务体系 3.4国能时空信息智能服务平台 时空云平台采用信息基础设施的构建思路，为集团及子分公司各平台系统提供统一的时空信息共享与分析能力底座，形成多层级时空信息基础设施服务能力，支撑时空信息全域赋能的能源产业链一体化运营管控 3.4国能时空信息智能服务平台 基于OGE的时空底座能力，全面云化集团的算力、时空数据，以及处理能力，通过多要素遥感监测+A/分析，提升地表压覆资源、生态修复、地表形变、甲烷异常排放监测等业务场景的智能分析能力，实现多要素遥感监测的全方位覆盖和精细化管理