2024年生成式人工智能在新型电力系统建设中的应用报告

谈元鹏中国电力科学研究院人工智能研究所2024年8月16日 目录 缘起：智能之生 挑战：电网之变 应用：技术之赋 前瞻：未来之智 PARTONE 挑战：电网之变 Challenge: The Transformation of Power Grid 背景意义 随着源荷双侧不确定性的提升，电力系统的运行方式分散性持续走强、典型运行工况与设备故障缺陷难以穷举、数据驱动的认知推理精度难以满足业务要求，机理驱动的各类优化问题计算效率低下，电力系统的可观、可测、可控能力受到极大挑战 DARTTMO 缘起：智能之生 Genesis: The Generation of Intelligence 技术演进-生成式人工智能技术突破带动行业应用 2023年，以ChatGPT为代表的生成式人工智能技术在各界引发广泛热潮，以海量参数为最突出特点，其多模态学习、智能推理能力显著提升，生成式人工智能如何与行业深度融合应用成为大家重点关心问题。国家多次强调，结合电力等国民经济主体行业，打造可融入行业生产系统的大模型典型应用定向增发 技术演进-生成式人工智能技术突破带动行业应用 2024年2月16日，OpenAl发布了文生视频大模型Sora，根据用户的文本提示生成最长60s的高保真视频，被比作视频生成领域的GPT-3时刻， Sora具有的能力 文本到视频生成能力复杂场景和角色生成能力语言理解能力多镜头生成能力从静态图像生成视频能力物理世界模拟能力 技术演进-生成式大模型技术发展现状 总的来说，生成式人工智能是一个广泛的概念，涵盖了多种能够创造内容的人工智能技术。而大模型技术则是生成式人工智能中专注于某一方面能力优化的子集，具体包括视觉大模型、语言大模型多模态大模型以及科学计算大模型等通用基础大模型的呈现形式。 技术演进-生成式大模型技术国外发展现状 2018年，OpenAI提出了生成式模型GPT-1，引领了大模型的研究热潮。之后谷歌、微软、英伟达、Meta等公司相继构建了PaLM、LLaMa等优秀模型，极大推进了大模型的研究进展。国内生成式大模型发展同样速度惊人，选代速度呈现指数级爆发。 细分场景专业模型（L2) DARTTHREE 03应用：技术之赋Application: The Empowerment of Technology 问题提出 中心2024年计划完成设备专业7类场景下64个专业模型建设工作，其中涉及大模型的共计7类场 景14个模型在数力、智力、法力三方面入手，推动基于公司行业大模型的细分场景模型（L2）建设 大模型应用落地的三大优势： 强理解能力·强生成能力·强信息集成能力 大模型应用落地的三大难点： 难以继承小模型研发成果，导致经济性不佳·大模型架构下如何边云协同，面临新的挑战业务逻辑边界难以学习，不利于安全性控制 数据准备 构建近干方级规模的电力设备影像库，包含可见光、红外、深度视觉三类图像，覆盖设备（输变配用）、基建、安监等业务场景，支撑电力行业视觉大模型微调优化（L2）。构建十亿级字符的电力设备语料库，覆盖设备、基建、安监等业务场景主题词、概念、实体、属性以及切分后的百科知识条目，支撑电力行业语义大模型微调优化（L2）。 红色：销钉缺销子 蓝色：销钉带销子 绿色：销钉不需要销子 科研工作-无人机智能巡检典型应用 针对部分无人机巡检模型不佳问题，提出面向无人机检影像的图融合推理技术，以提示文本结合图像标注，解决核心业务知识引入的问题；研究基于混合专家（MoE）的电力视觉大小模型微调优化技术，灰盒模型联合优化，相比小模型识别精度提升9%，并在杭州、绍兴等地试点运行 科研工作-无人机智能巡检典型应用 面向无人机实际应用需求，设计基于模型移位量化的存算一体芯片推理框架，平衡通用处理器算力与存算一体算力，并通过知识蒸馏与移位量化技术将大模型轻量化；研发即插即用、超低功耗、存算一体的机载边缘智能模组，实现单位功耗下的算力提升58% 科研工作-作业现场管控典型应用 基于多模态大模型中的图文融合推理技术，在云侧针对电力设备运检作业场景下的图像、文本数据进行联合分析，构建安全责任关联图谱、违章信息知识库辅助大模型生成工作建议；在边侧考虑大模型的蒸馏量化，在算力、供电受限条件下实现安全距离、隐患排查推理，支撑大模型边云协同应用 Q：大模型架构下如何边云协同，面临新的挑战A：以约束条件耳前提，采用任务切分+蒸留量化的方式解剖麻雀。 简要指述你发现的安全隐惠 根概期图环境，可以用斯这提电力作业现场，环确中有2个人。我发现了如下安全录惠：1限像中的两个人均未假股安全限，2.图像中的两个人均来正确穿航工装， 详细指送你发现的安全障惠（退排判断） 分析属盟环场，解够看到存在电力杆塔，配电线路等，国此可以判断这费个电力作业现场，格查环境中的安全障惠：1翻像中的满个人均未佩服安全相，可服导致人员在工作中受伤，2.图像上方的人来佩服手套，图像下方的人未穿版益色的工装，可能会道或安全事故， 科研工作-运检辅助决策典型应用 基于电力设备台账、图谱以及知识库，提出知识引导与知识嵌入的人机协同高质量指令构建方法；提出基于知识增强的大模型答案生成方法，提升模型准确性和时效性：并面向检修复杂业务逻辑，提出基于大模型的复杂任务拆解及执行方法，实现检修策略智能生成，生成准确率优于85% Q：业务逻辑边界难以学习，不利于安全性控制A：以可靠性为目标，采用知识引导、知识嵌入等方式提升大模型可解释性 科研工作-智能体调度 智能体调度是指基于大模型技术实现一种模型到应用的组织形式，通过任务拆解、任务编排、协同执行等技术研究，结合现有系统工具、接口及存量模型，实现大小模型协同应用模式体系，有望与国网公司人工智能“两库一平台”中的模型库进行融合应用。 大模型负责复杂任务分解、形成调用链、向对应小模型下发调用指令，总结小模型执行结果 小模型负责响应大模型指令，提供推理服务，向大模型反馈推理结果 科研工作-智能体调度 DARTFOUIR 04前瞻：未来之智Foresight: The Wisdom of the Future 总结与展望 想象一下，在不久的未来，当一位电力工程师面对错综复杂的电网数据，他不再需要耗费大量时析故障、优化调度、控制设备。这将不是科幻小说的情节，而是生成式人工智能技术“照进”现实，今天，就让我们共同携手探索这一未来之“智” 感谢各位专家的指导！