2025年电力人工智能多模态大模型创新技术及应用报告

报告人：王小华教授西安交通大学电气工程学院2025年2月 目录 1、研究背景2、关键技术3、应用案例4、未来展望 背景1一一人工智能的概念及发展 人腾智能是研究，开发用于模拟，延伸和扩展人的智能的理论方法能技术及应用系统的一一新的技术科学，其在历史上经过多个发展时期，形成了不同的技术流派，深度学习是目前主流 背景1-人工智能的概念及发展 在人工智能领域，数据，算力与算法构成发展基石数据驱动模型训练，算力支撑复杂计算，算法优化技术路径，三者协同推动人工智能向更高阶形态演进 背景1一一人工智能的概念及发展 早期的深度学习受限于计算能力和数据规模，难以发挥优势。随后多层感知机与卷积神经网络结合反向传播算法，显著提升了模型的学习能方，随后基于注意力机制的Transformer架构改变了自然语言处理的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习在多模态学习推理和通用人靠工智能方向取得重要进展，为人工智能的发展开启了新的阶段 背景2人工智能大模型引领新一轮科技革命 大模型井喷式发展 自从ChatGPT在2022年问世以来，全球大模型发展迅速，百种大模型竞相发布，推动性能、规模和应用的全面突破成为科技进步的重要动力源 背景3—人工智能赋能新型电力系统发展 传统电网：传统电力系统人工依赖度高，存在资源配置低效和故障响应不及时等问题 新型电网：人工智能赋能后，通过实时调度优化，智能维护和精确能源管理，可大幅提升电网的运行效率、稳定性与可持续性 新型电网 传统电网 借助人工智能赋能新型电力系统可持续蓬勃发展 背景4自研电力大模型意义重大 从数据上讲，通用数据分布与电力领域多模态数据差异过大，专业程度低、关联性弱：从模型上讲，开源通用模型缺乏电力专业预训练（缺乏专业电力知识注入）多模态支持不足从应用上讲现有国产化电力大模型在真实电力任务上性能不够高与实际需求仍存在差距 背景4自研电力大模型意义重大（数据层面） 背景4自研电力大模型意义重大（模型层面） 传统电力AI模型基于特定任务开发，大多为单模态算法综合成本高智能性与泛化性不足 开源AI大模型缺少电力领域预训练，，专业知识缺失，处理实际电力任务能力差 背景4自研电力大模型意义重大（应用层面） 电力通用大模型的开发需要基于国产计算集群开展软硬件协同优化，满足电力大模型的应用要求 电力场景需要基于边缘计算的大模型部署方法，驱需开发相应的应用技术 开发基于国产硬件设备搭建电力大模型应用体系 02 关键技术实现 电力大模型全流程关键技术体系 数据生成：大规模高质量电力专业数据集构建 部署应用：电力大模型轻量化与边缘计算部 数据生成：纯文本数据制作管线 构建高效的半自动化数据制作管线，为预训练和下游任务微调提供大规模，高质量的电力领域文本数据支撑·15/37 数据生成：多模态数据制作管线 来源：电力场景真实图像 原始标注信息 电力设备监测信号 类别&坐标变压器: [03. 0.6. 1.0. 0.9]10.25, 0.7, 0.35. 1.01 多场景任务开关设备状态监测 输电线路异物检测 多类别数据多轮对话详细描述深度推理 模型图中变压器左下备有油污装进：可能存销漏导致里不足，引起散热不良， 模这账图片能小的是量个变正器表则的形状与油污的特能相钓 构建层次丰富多样性好，知识粒度细的电力场景大规模多模态数据集，构建了8大类数据量超100万系为多模志大模型在多场景，多任务的训练提供数据支持 特征对齐2.模型构建：多模态编码器 2.57模型构建电力通用多模态大模型 多模态重构器 Xizhou Zhu, Jinguo Zhu, Hao Li, Xiaoshi Wu, Hongsheng LiXiaohuaWang*,Jifeng Dai.Uni-perceiver:Pre-trainingunified architecture for generic perception for zero-shotand few-shot tasks[CI//CVPR.2022:16804-16815. 3模型训练：预训练技术多模态模型预训练 电力领域多模态大模型预训练方案 图像编码器-解码器框架 a）图片编码为连续的特征向量b）在像素空间中重建RGB图像 多模态统一预训练框架 a）在多模态交错序列上应用统的自回归预测优化自标：b）统一多模态数据的理解与生成任务。 实现电力场景中的文本，图像等数据类型的统一建模统理解统生成 3模型训练：后训练技术指令微调+强化学习 有监督指令微调增强模型特定场景下理解和遵循人类指令的能力人工反馈强化学习显式地将人类反馈引人训过程 一通过人类反馈将模型输出对齐到人类的价值观和偏好提高模型的回答质量与可靠性 模型训练：混合立体并行训练方案3.0 部署应用：大模型轻量化全流程方案4 现有AI大模型对于计算资源需求较高，难以在资源受限的边侧设备进行部署：高质量轻量化技术是DeepSeek成功要素之一 大模型轻量化流程 基于梯度精度分析的模型量化技术 教师模型大参数(>70亿)高精度(BF16) 量化模型小参数(<10亿)低精度( Int4) 学生模型小参数(<10亿)高精度(BF16) Jingua Zhu, Shixiang Tang. DapengChen,ShijieYurYakunLiu,MingzheRong,, Aijun Yang, Xiaohua Wang*Complementaryrelationwcontrastivedistillation[C// CVPR. 2021: 9260-9269. 22] 基于提出的基于特征关系保留的知识蒸馏技术与基于梯度精度分析的模型量化技术，有效地解决了AI大模型模型参数高，推理复杂度高的问题 部署应用：边缘计算+云边协同4 单设备状态感知与运维任务可由边缘计算技术本地高效完成，对于变电站层的状态数据处理，需要云边协同技术各边缘终端在中心服务器的统一调度下将云端所需数据上传并在云端实现战级状态综合的感知诊断与预测 完善的算子支持包括CPUNPU等多种后端实现推理SDK开发简单新算子后端扩充技术门槛低 03 电力装备多模态大模型的应用 应用一：电力专家与客服系统 随着用户规模和业务复杂度的提开电网公司面临海量客服需求一传统人客服难满定高效响应和全天候服务的要求。而现有通用模型缺乏电力领域的专业知识，处理用电客户实际问题能力较弱 现有通用模型缺乏电力领域知识，处理实际问题能力较弱 系统 我位于义×市我的电费欠费该如何缴费？电价是多少？ 很抱款，我并不了解中国××市的电价情况也不了解如何进行电费缴纳，详细信息建议电话： 电力专家与客服系统可以对海量客户提供全天候、实时、专业的服务 应用一：电力专家与客服系统 我现在位于××市××区，家里突然停电了是什么原因导致的？我该如何处理？ 用户 感谢您的咨询很抱款给您带来不便。经过使用巨联网是查询，××市××区近期处于夏季，气温高达35°C以上，并且处于雨季，降水多。主更力系统用电免有高的同时湿的蹭佳给电力设备带来额领外的压大。因此出现了短时的电力系统供电不足的情况。 您无需担心正常情况下，几十分钟至几个小时之内电力系统就会恢复供电，具体的信息请你关注xx电网首网（hutpwwwn.suoetoimacnz文x为或者社区公告。如果您还有任何问题，可以咨询文×电网服电9588 电 很抱款听到您遇到了停电的问题。导致家中突然停电的原因可能有多种，以下是些常见的原因及处理建议： 电力公司供电故障可能是由手电力公司进行设备检修、线路故障或家庭内部电路问题：家中的断路器可能因过载或短路而自动跳闸。我无法了解到×市具体的情况信息，请你咨询当地的供电公司。 很抱款听到您遇到了停电的问题。我暂时无法分折出停电故障的原因，您可以通过以下的步骤进行排章，找到问题的来源。如桌您有任何新问题，请及时告诉我。排查的步骤有：检查是否仅家中停电，检章家中电路，咨询社区人员．如果以上方法都没有解决您的问题，请你咨询当地的供电公司 国内大厂模型 罗海宸，杨逸舟,柳宇洋,李明轩，杨爱军，荣命哲,主小华.面向电力设备运维的人工智能大规模语言模型关键技术及其应用研究.第十九届中国电工技术学会学术年会，2024年9月 应用二：多模态运维安全助手 电力设备故障易引发人身安全事故，急需开发高效精准的电力运维规划与安全警模型 应用三：多模态电力设备状态感知助手 现有电力人工智能算法大多为单任务算法针对不同故障诊断任务需要开发不同的算法模型，研发程序繁锁、成本高、泛化性差现有电力人工智能模型处理多模态数据能力较差，难以处理多场景结合的复杂任务 多模态电力设备状态感知助手可完成电力设备的多模态数据状态感知任务并实现与运维人员的实时交互 应用三：多模态电力设备状态感知助手 请你根据给定的视频，回答以下问题视频中是什么类型的隔离开关，起到什么作用？2.视频中的隔离开关正处于什么状态？ 1，视频中展示的是种户外高压隔离开关。隔离开关主要用于在电气设备检修时，切断设备与电源之间的联系，确保检修人员的安全。同时，它还可以起到电气隔离的作用以便在系统发生故障时能快速隔离故障部分。 2视频中的隔离开关处于合闸”状态。可以看出隔离开关的触头已经闭合，导电部件连接在一起，说明电路是通的状态。 1.视频展示的是户外高压交流35KV真空负荷开关。这种类型的产品主要用于电力系统和工业生产领域，在电路运行过程中进行隔离、切换或保护的功能。 2.在视频中可以看到该开关处于闭合的状态这说明它正在正常工作并且能够有效地控制电路的通断情况。同时也可以看到一些红色指示灯亮起，表示当前的工作状态是正常的。 国内大厂模型 WANG, Jiahao .. Wang. Xiaohuat, Power-Llava Large Language and Vision Assistant for Power TransmissionLine Inspection.In.2024 IEEE International Conference on Image Processing (ICIP) JEEE 2024. p.963-969. 应用四：电力时序数据分析监测模型 时序数据（如电压、电流信号）是电力场景中最基本，最易获取、参考性最大的数据。利用此类数据可以进行电力场景精细化感知与深度分析 电力时序数据分析监测模型可根据人类交互输入生成任务指令并对各类时序数据进行分析与推理 应用四：电力时序数据分析监测模型 请你根据提供的电压一时间二元组序列，判断该GIS设备是否存在局部放电缺陷，如果有请你给出对应的类别及判断依据，该设备的UHF特征为((1.17V.0.052μs).(0.8V.0.06us)(0.75V,0.068us).,(0.06V,0.075us).(表格数据） 您好，根据您提供的提供的特证最我首先调用片工绘制了对应的形盗鞋如右图所示。 根据波形，UHF曲线具有以下特征：（1）单信达到了1.17V2)曲线积分面积为4.87e-10.（3)曲线的间0.003us下降时间0.16445.根据以上特征，该GIS设备对应的缺陷类型为量胖电位。 运维通用模型利用API代码工具绘制出波形图辅助判断，结合原始数据准确判断出故障的原因并给出相对准确的分析与建议展示出专业的行业知识与可靠的运维能力。 基于给定的电压-时间一元组序列，我们无法直接确定GIS设备是否存在局部放电缺陷及其类别，这些数据点仅表示了UHF信号幅度的变化，但没有提供足够的信号特征（如波形频语等)来做出准确判断。要确定是否存在局部放电及其类型，需要更详细的UHF1信号数据以及专业的电气测试分析。因此，建议进，步收集和分析信号数据或请专家进行评估： 对于这个问题，我作为一个AI模型