2024基于人工智能技术的云遥感反演

复旦大学大气与海洋科学系 人工智能基础知识 卷积核的物理意义 任何一个汉字都是由基本笔画“横竖撇捺点”构成的，如：犬&术&禾 基本笔画的不同组合，构成了近10万汉字。 卷积核就是图像中的基本笔画，构成了无数图片 即任何一张图片都是由基本线条构成的，即局部放大后是各种斜线或圆点，这些基本线条就是卷积核。 人工智能基础知识 卷积核的物理意义 从上到下：万物局部放大之后都是卷积核从下到上：同样的卷积核的不同组合勾勒出万物 人工智能基础知识 色彩 每一张图是由RGB三种颜色通道构成，其数值0~1(255)，表示由黑到白的灰度值。卷积核就除了线形外也包含灰度人眼看到的是色彩纹理，电脑看到的是数值 反之则黑，红绿同理 人工智能基础知识 池化 池化计算过程pooling 卷积+池化，就是在确定每个局部是哪个线条/卷积核主导即池化就是在抓主要特征 人工智能基础知识 卷积和池化后的效果 人工智能基础知识 1.卷积层：提取特征2.池化层：下采样，却不会损坏识别结果3.全连接层：分类 目录 人 工 智 能 技 术 基 础 人 工 智 能 技 术 在云 遥 感 反 演 中 的 应 用 人 工 智 能 技 术 在 天 气 预 报 中 的 应 用 云遥感研究背景 云反演进展和存在的科学问题 𝐀: Cloud optical thickness (COT)re: Cloud effective radius (CER) 可见光/短波红外双光谱方法(Nakajima et al.1990;Letuet al. 2020) 云反演进展和存在的科学问题 卷积神经网络（CNN）Quan Wang, et al.RSE,202 (WenwenLi, Feng Zhang*, et al.TGRS,2022) 云遥感研究背景 算法 算法 算法 跳跃连接和残差连接： 有助于缓解随着网络深度增加而出现的梯度消失和梯度爆炸等问题 (Xuan Tong,JingweiLi, Feng Zhang*, et al.GRL, 2023; Zhijun Zhao, Feng Zhang*, et al.TGRS, 2023) FY4A/AGRI云物理特性反演结果评估 FY4A/AGRI云物理特性反演结果评估 FY4A/AGRI夜间云物理特性反演结果评估 个例分析(UTC_ 2020-04-26 00:00) u与AGRI官方云产品相比,我们的方法可以提供全天时CER和COT产品 全天时云物理特性反演产品展示 全圆盘 l大范围空间连续l空间分辨率：4km 全天时 l全天时时间连续l可获取全日的连续变化特征 高频次 l时间分辨率较高l时间分辨率：15min 高效率 l反演速度比较快l可在1min内反演整个全盘 高精度 l云产品精度较高l云极轨卫星云产品相一致 青藏高原地区云时空分布特征分析 青藏高原地区云时空分布特征分析 “大禹”快速辐射传输模式 l传感器辐射定标l气体吸收(瑞利散射)l云的吸收散射l气溶胶吸收散射l地表海表特性 高分辨率卫星遥感的广泛应用对快速辐射传输计算需求日益增大。 “大禹”快速辐射传输模式 适用于遥感应用的快速辐射模式“大禹” “大禹”快速辐射传输模式 如何处理重叠吸收带是CKD计算中的一个核心问题。 OMCKD方案对HimawariAHI B12通道（9.6347μm）的处理。（a）吸收系数随波数的变化。（b）卫星响应函数随波数的变化。（ c）分段排序后,吸收系数随累积概率函数的变化。ˆgN 在特定气压下，𝐀𝐀可拟合为随温度变化的多项式 分段排序相关K分布气体吸收方案（OMCKD）通过减少卫星通道内辐射传输的模拟次数来提高计算效率。 “大禹”快速辐射传输模式 云的光学特性参数化 冰云：六棱柱（solid hexagonal column）水云：Mie散射理论 对于特定波长，多项式拟合函数为 )(op:光学特性𝐀𝐀𝐀:拟合系数𝐀𝐀𝐀𝐀:有效直径 通道平均的光学特性为 冰云的光学性质（a）非对称因子,（b）单次散射反照率，（c）消光系数随有效直径的变化。 𝐀𝐀,𝐀𝐀:普朗克函数𝐀𝐀:光谱响应函数𝐀solar𝐀:太阳常数 “大禹”快速辐射传输模式 涵盖全波段的大气辐射方案—离散纵标累加法 Ø对于平面平行大气，辐射传输方程可表示为： Ø将强度I和相函数P进行傅里叶分解： 𝐀Ø采用离散纵标法求解方程，使用高斯求积处理积分项： 4𝐀其中, 2N是流数;𝐀𝐀=−𝐀−𝐀𝐀=1,2, . . . ,𝐀,𝐀𝐀=−𝐀−𝐀,𝐀𝐀=𝐀−𝐀𝐀=1,2, . . . ,𝐀。 “大禹”快速辐射传输模式 涵盖全波段的大气辐射方案—离散纵标累加法 长短波统一的累加法： 多层传输中同时处理太阳直射和普朗克发射 可见光到红外（包括太阳-红外光谱重叠区）的辐射传输过程 “大禹”快速辐射传输模式 “大禹”快速辐射传输模式 “大禹”快速辐射传输模式 在短波或光谱重叠通道，与标准模式相比，“大禹”模式计算效率高了约三个数量级在热红外通道，与标准模式相比，“大禹”模式计算效率高了约五个数量级 “大禹”快速辐射传输模式 “大禹”快速辐射传输模式 利奇马台风（Lekima）时间: 20190808, 06 UTC地区: 15-35°N, 117-137°E 利奇马台风的云的光学性质（a）云光学厚度, (b)云有效半径, (c)云顶气压, (d)云相态。 “大禹”快速辐射传输模式 “大禹”模式应用案例 “大禹”模式模拟反射率与卫星观测反射率的对比 观测反射率与模拟反射率空间分布高度一致，证明模式在晴空和有云大气下都具有较好的反射率模拟能力。 左图为AHI观测亮温（a-c）与IERTM模拟亮温（d-f）在B02 (0.51μm), B04 (0.86μm), B06 (2.3μm)通道的对比，（g-i）为两者之差。 “大禹”快速辐射传输模式 “大禹”模式应用案例 “大禹”模拟亮温与卫星观测亮温的对比 观测亮温与模拟亮温空间分布较一致，证明IERTM在晴空和有云大气下都具有较好的亮温模拟能力。 左图为AHI观测亮温（a-d）与IERTM模拟亮温（e-h）在B07 (3.9μm)，B09 (6.9μm)，B12 (9.6μm)，B15(12.4μm)通道的对比，（i-l）为两者之差。 辐射模式与AI联合的多层云检测 传统的云检测算法通常是基于一系列阈值测试和决策树实现的。 对于云相态分类，传统的算法主要是基于冰云和水云散射和吸收特性随光谱变化的差异发展的，算法中采用了各种阈值测试，例如反射率差( e.g., 2.1和1.6μm),或亮温差（8.5和11μm)。（Pilewskie等（1987），Wang等(2018)，Baum等(2000); Pavolonis等(2010)） 目前已有的多层云识别算法多是基于SWIR通道和LWIR通道对上层冰云和下层水云的敏感性存在差异实现的。（Wang等(2019)） 机器学习方法非常适用于处理涉及复杂非线性问题并受多种因素影响的云遥感相关的难题。（Wang等（2020）；Tan等，(2022)） 辐射模式与AI联合的多层云检测 BTobs,λ：观测亮温BTclr,λ：模拟晴空亮温单层冰云单层水云单层混合相态云多层云（上层冰云，下层水云） 辐射模式与AI联合的多层云检测 算法流程 辐射模式与AI联合的多层云检测 考虑不同的输入因子下云分类模型综合指标得分 考虑晴空亮温可提升神经网络模型的云分类精度，尤其在全天的模型上提升更加显著。 辐射模式与AI联合的多层云检测 Himawari-8 AHI成像仪云检测和云分类研究 （a）以CPR/CALIOP观测为标准，DNN模型以及MODIS和AHI官方产品中单层云和多层云的识别比例。左图和右图分别是总COT（来自CALIOP 5km云层产品）大于和小于1下的结果。 辐射模式与AI联合的多层云检测 Himawari-8 AHI成像仪云检测和云分类研究 1）与其他两种官方产品相比，DNN模型的结果与主动雷达观测更一致。 2）DNN模型对具有较强的探测能力，而这些薄卷云易被MODIS和AHI云产品所忽略。 3）DNN模型可以提供的有效识别。 辐射模式与AI联合的多层云定量反演 主动雷达观测数据 辐射模式模拟数据 由 于高 层 冰 云 的遮 挡， 不 能 得 到低 层 水 云 物 理 特性， 特 别 是台 风云系。 上层冰云和下层水云云物理性质同时反演 已有的多层云研究多基于最优估计方法，如Iwabuchi等（2016，2017），Teng等（2020，2023） 辐射模式与AI联合的多层云定量反演 宏观特性 辐射模式与AI联合的多层云定量反演 宏观特性 使用迁移学习方法可有效降低云顶高度的反演误差。考虑晴空亮温可显著提升云顶高度的反演精度。 辐射模式与AI联合的多层云定量反演 微观特性（第一行光学厚度、第二行有效粒子半径） 辐射模式与AI联合的多层云定量反演 微观特性 ü使用迁移学习方法可有效提升微物理特性的反演精度,特别是下层云的光学厚度和有效粒子半径 使用红外观测亮温和晴空亮温可显著提升多层云中上层冰云有效粒子半径的反演精度 辐射模式与AI联合的多层云定量反演 第一列CTH云顶高度第二列COT云光学厚度第三列CER有效粒子半径 辐射模式与AI联合的多层云定量反演 CPR/CALIOP联合产品沿轨道线的云相态垂直廓线图。CNN-TL模型（红色/青色）、MODIS（紫色）和AHI（黑色）官方产品结果分别以不同符号在图中标记。特别地，青色点标记了多层云存在情况下CNN-TL模型反演的下层水云CTH的位置。 1）CNN-TL模型反演的台风云系CTH与主动雷达观测具有较高的一致性，而MODIS产品特别是AHI产品整体上低估了CTH。 2）当多层云存在时，MODIS和AHI产品倾向于忽略上层较薄的冰云，给出下层水云的CTH。 目录 人 工 智 能 技 术 基 础 人 工 智 能 技 术 在云 遥 感 反 演 中 的 应 用 人 工 智 能 技 术 在 天 气 预 报 中 的 应 用 数值预报vs人工智能 人工智能 数值预报 高门槛行业，依赖高性能计算，强物理基础，强编程能力，需要持续的大规模投入 投入2~3个人，几万元的GPU服务器，模型轻巧，精度超过目前最先进的数值预报，仅需几分钟即可完成全球15天的预报 人工智能方法在气象领域的应用 如何学习非局部特征？ 窥探人工智能“黑箱” 人工智能通常被视为不可洞悉原理的“黑箱”；数据驱动的AI，有时会从数据中得到无意义的联系，存在问题 图片识别是否有马？ 网页标签，被作为重要信息 红色:有马蓝色:无马黑色:用不到 热力图：可视化工具，检测AI的策略 感谢聆听！ 请各位老师同学批评指正！