物理引导的深度学习研究综述：进展、挑战和展望

2 科学研究方法的框架与体系被称为科学范式，科学研究已经经历了经验科学范式、理论科学范式与计算科学范式[1]，并在大数据时代逐渐向数据密集型范式转变[2]。在计算科学范式中，计算机技术和先进的数值方法，如Ansys Fluent、COMSOL Multiphysics和FLAC（fast Lagrangian analysis of continua）等，已被广泛用于建模和求解复杂的物理问题。但这些基于数值机理的模型在处理非线性多尺度问题时面临挑战，如计算成本高、对未知物理过程的建模困难及对网格化方法的依赖等[3]。同时，在计算科学范式与数据密集型范式中均备受瞩目的深度学习方法，因其能够自动提取特征与规律[4-5]，拥有强大的复杂函数逼近能力[6]而被广泛应用，已在图像识别[7]、气象建模[8]、材料信息学[9]、水文学[10]，及数学[11-12]等领域取得了显著的成果。然而，传统深度学习具有以下几个问题：（1）黑盒特性使人难以相信其能获得可解释性强且与物理规律相一致的结果；（2）严重依赖于训练过程，在与训练数据分布不同的实际应用中泛化能力不佳；（3）依赖于大量的观测数据，数据的获取费时费力，且观测数据不可避免地缺失或误差可能导致深度学习结果无法达到令人满意的准确度。基于此，为改善数值机理模型和深度学习方法的局限性，结合经验、理论与计算科学范式知识的深度学习方法为研究者提供了新的思路。经验、理论、计算科学范式经历了长时间的发展，积累了丰富的知识与研究成果。在深度学习领域内，这些知识与研究成果包括物理定律、物理机理、专家经验等，被称为物理信息（或物理知识），将这些物理信息应用并融合到深度学习中，可以为深度学习模型内嵌领域物理知识，形成了物理引导的深度学习（physics-guided deeplearning，PGDL）或 理 论 引 导 深 度 学 习（theory-guideddeep learning，TGDL）。将物理信息与深度学习方法融合可在一定程度上提升深度学习方法的可解释性与物理一致性，同时，由于物理信息的融入，可大大减少深度学习方法对观测数据的依赖。从20世纪90年代，已有尝试使用先验知识改进神经网络[13]的研究。2017年，Raissi等[14-15]提出了物理引导神经网络（physics-informed neural networks，PINN），成功地将物理方程约束引入深度学习模型中，实现了偏微分方程的求解。这一工作将物理引导神经网络方法引入了研究的聚光灯下，并引领了该领域后续大量研究的开展。这些研究工作不仅进一步探索了物理引导深度学习的潜力，还为其在各个领域的应用提供了重要的理论和实践基础。近年来，许多学者在此基础上对物理引导的深度学习方法进行了深入研究[16-20]，在多个领域取得了显著的研究成果，这些成果进一步验证了该方法在提高模型准确率、泛化性、物理一致性和鲁棒性方面的潜力。例如，在结构力学领域，物理引导深度学习方法成功应用于结构动力学模拟，能够更精确地预测结构的响应和行为[21]；在化学领域，物理引导方法被成功应用于化学过程模拟，并帮助发现新化合物[22-23]；而在水文学领域，物理引导深度学习方法在湖泊温度建模、地下水渗流建模、降雨径流模拟、洪水预测和水文数据分析等方面展示出了独特的优势，并取得了令人满意的研究成果[24-30]。这些都表明该方法在处理多尺度、多物理场耦合问题方面具有广泛的应用前景。物理信息的长期积累与深度学习方法的持续发展，都各自形成了较为完整的理论体系，因此，物理信息与深度学习方法的融合需要学科之间紧密地沟通。然而，目前大多将深度学习与物理信息相结合的研究均是由不同学科的研究人员在独立研究中开发的。为加速不同研究团体之间的思想交流，并推进物理引导深度学习方法的研究与应用，本文对该领域的主流设计思路进行了总结，并介绍了其在不同领域的应用及流行趋势，旨在为研究者提供一个全面的视角，能够了解物理引导深度学习的最新进展和技术前沿。1物理引导深度学习在物理引导深度学习框架的构造方法中，通常存在物理信息组合与物理信息融合两种模式（如图1）。物理信息组合将领域物理知识编码为物理引导项并从外部介入引导神经网络的计算过程，通常将物理引导项应用于深度学习模型的前端以构建物理引导的数据处理方法；应用于后端以构建输出优化方法；应用于优化阶段以构建损失函数。不同于物理信息组合的引入外部deep learning on various applications is analyzed.Furthermore,the challenges of the physics-guided deep learning arediscussed from four perspectives:computational complexity and convergence,biases while involving control equations,dependence on observational data,and difficulties in knowledge fusion,based on which,an outlook for the future directionof this domain is provided.This paper strives for providing research reference and multidimensional perspectives ofphysics-guided deep learning for the researchers.Key words:scientific paradigm;physics-guided;deep learning;model fusion;governing equations 识与深度学习模型进行深度融合，构建融合框架以实现优势互补。常用的方法包括物理引导的结构设计、预训练任务设计与混合模型构建等。本章将从物理信息组合与物理信息融合框架构建模式及其相关的子方法出发，总结与介绍物理引导深度学习的应用案例。将重点探讨物理信息组合方面的关键方法，包括物理引导的数据处理、输出优化和损失函数设计等方面。同时，还将详细研究物理信息融合的常用方法，如物理引导的结构设计、预训练任务设计和混合模型构建等。表1对本章中将要阐述物理引导深度学习相关方法的机制、优势、局限性、适用场景进行了归纳总结。旨在为读者提供物理引导深度学习领域的理论指导和实践指南，为进一步推动物理引导深度学习方法的发展和应用提供有益的参考。为便于后续详细论述物理引导深度学习方法，表2列举了全文涉及的重要符号及其含义。1.1物理信息组合1.1.1物理引导的数据处理在深度学习模型中，数据是驱动模型学习的关键因表1物理引导深度学习方法归纳Table1 Summarization of physics-guided deep learning methods优势简化工程问题，增强模型的物理约束遵循性并提升模型模型的外推能力增强，提高模型的适用范围和泛化能力应用范围广，可实现更健壮的训练，能够约束参数更新方向且不显式增加模型参数可减少算法的数据需求，降低模型优化压力，提升模型增强模型对复杂问题的建模能力，提高预测准确性使模型训练和优化过程贴近真实物理系统，提升模型效率和可解释性模型适应性增强，可降低对高质量数据的依赖增强模型物理一致性，提高增强模型对新或未见数据的适应能力，降低过拟合风险，计算资源需求较低局限性会引入系统偏差，存在参数估计困难以及过度收敛的风险使模型对异常值较敏感，需采取额外的数据预处理措施物理一致性不足，无法确保全面遵守物理约束，正则化项权重难以调整仅 保 证 局 部 符 合 物 理 约束，增加计算时间需要精细的超参数调整，依赖物理信息的准确性，增加模型复杂性及计算成本缺乏统一标准来选择合适的结构，依赖工程直觉和试错方法增加模型复杂性和训练成本，具有领域依赖性需考虑物理模型的可用性和准确性及对模型进行细节校准需 谨 慎 处 理 动 态 系 统 约束，无法强制执行物理定律，依赖于大量训练数据适用场景适 用 于 数 据 质 量 受损 或 存 在 较 多 噪 声的情况适 用 于 需 要 预 测 超出 训 练 集 范 围 的 数据的情况适用于数据稀缺、复杂 物 理 过 程 模 拟 的情况适 用 于 数 据 噪 声 较大、有高精度需求的情况适 用 于 数 据 和 领 域知 识 丰 富 但 非 线 性复杂的情况适 用 于 需 依 据 工 程问 题 定 制 解 决 方 案的情况适 用 于 数 据 获 取 成本 高 或 数 据 稀 缺 的情况适 用 于 数 据 稀 缺 但物理知识丰富、复杂系统模拟的情况适用于数据丰富、环境 或 操 作 条 件 变 化大的情况 引导的方式，物理信息融合针对特定问题将领域物理知方法分类物理引导的数据处理物理引导的输出优化物理引导的损失函数物理引导的结构设计物理引导的预训练物理引导的混合模型软约束硬约束信息嵌入结构定制模型集成残差建模机制利用数值机理模型或客观物理信息来补充或修正数据利用领域知识对模型的输出进行后处理基于已知的物理方程、领域专家知识构建物理引导项为模型引入严格的限制条件，在定解条件上严格满足物理一致将物理信息以神经元节点、数据流等形式嵌入深度学习模型中以特定物理知识为灵感定制模型结构可抽象地结构化反映物理信息构建包含领域知识经验的预训练任务数值机理模型与深度学习进行结构或过程的集成深度学习模型关注预测数值机理模型的残差以弥补模型误差Fig.1 Construction methods of physics-guideddeep learning frameworks 性能鲁棒性预测精度 也不可避免地引入了一些问题。这些数值机理模型通常是基于已知物理定律根据输入计算输出变量，但由于目前对某些物理过程的不完全了解以及数值求解方法对控制方程的近似求解，数值机理模型大多仅能提供实际物理过程的近似表示，从而引入系统偏差。此外，大多数值机理模型参数较多，需要首先借助有限的观测数据来估计这些参数值，在计算成本较高的同时也引入了偏差。1.1.2物理引导的输出优化在各个学科领域中，数据分布规律和特征通常是非常重要的领域知识。利用这些领域知识对模型的输出进行后处理，可以确保模型输出结果与物理实际相一致（如图2所示），从而实现对输出结果的物理引导优化。Khandelwal等[34]在构建全球地表水动态地图的研究中，针对中分辨率成像光谱仪（moderate-resolution imagingspectroradiometer，MODIS）的多光谱数据标定淡水资源面积时历史数据不完善、多地区水体/陆地数据标签不完整、不准确等问题，基于“长时间被分类为水体的地区更可能拥有较低海拔”的物理规律，有效提取了地理数据中隐藏的海拔高度信息。基于海拔信息的物理引导输出优化后处理修正项，将水体/陆地的分类标签与海拔高低顺序进行统一，改善了前人工作中全球地表水动态地图的分类质量，在相同数据集的情况下，使用改进的 算 法 将 皮 尔 逊 相 关 系 数（Pearson correlation coeffi-cient，PCCs）由0.83提升至0.94。但这种后处理方法在物理信息几乎不变或变化不足的场景中效果有限，并且在处理具有更高空间分辨率的复杂几何区域时面临挑战。Chen等[35]采用类似的后处理方法成功改进了地下水流深度学习模型。该研究将领域物理知识（地下水渗流控制方程）离散化为约束矩阵，以确定符合控制方程解的超平面，使用投影法将模型输出预测矩阵映射到该超平面，从而优化模型输出并满足理论约束，较传统多层神经网络，物理信息的加入将预测精度L2提升约84%。Hautier等[23]采用输出优化的方法发现了新的化图2物理引导的输出优化模型Fig.2 Physics-guided output optimization mode