AI大模型技术在电力系统中的应用及发展趋势

01大语言模型与智能体技术简介 LLM架构与训练：预训练阶段学习文字接龙（prefixLM），无需标注，自监督（self-supervised）“你好美丽。”书籍一个不完整的句子论文新闻你好网络爬虫私有知识库你好美开源数据集（数学、推理)你好美丽 GPT接一个可能的字美丽 LLM架构与训练：预训练阶段预训练模型三要素，大数据，知识的来源，包含各种语言现象及语义知识，直接决定了模型的学习范围·大模型，容纳大数据的载体，通常由深度神经网络构成，学习大数据中的统计信息与抽象知识·大算力：处理大数据和大模型的并行计算集群，通常包含GPU、TPU等高性能运算设备DeepTransformers大数据（无标注文本）（深度神经网络） (>12 layers)InputSeguene大模型大算力（并行计算集群） 如何训练自己的LLM？微调训练直接全量参数微调问题>LLM参数量巨大，7b=70亿参数>耗费GPU资源多，通常需要A100*8以上（百万RMB）>训练时间长，需要数周时间解决方案：LoRA(Low-Rank Adaptation of Large Language Models)核心优势>训练参数量少，70亿参数使用LoRA只需要训练百万级别参数>微调效果好，LoRA效果不差于全参数微调，优于其他微调方式>GPU要求低，3090*4即可微调7b模型 LLM架构与训练：各个训练阶段综合来看.Pasinaos预训练有监督微调强化学习原始数据标注用户指令用户指令千亿单词图书数万用户指令和对应十万量级用户指令百科、网页等的答案语言模型训练语言模型训练强化学习方法基础模型SFT模型RL模型1000+GPU1-100GPU1-100GPU月级别训练时间关级别训练时间天级别训练时间带着芙脸的修 Agent(自主智能体)考古学：通用定义自主智能体典型实例能够自动感知环境能够在环境中自主行动能够通过环境反馈自主学习--Maes (1995)WIKIPEDIA DeepMindLab,2016ObservationsActionsEmbodiedOA.FAIR.2018 LLMAgent：关键能力一使用工具Tell TwitterTrendingInstructionFoundationCall APIAnswerModelHumanResultTwitterTrendingis1.HotWeather1.Hot Weather2.NBAPLAYOFFS2.NBAPLAYOFFS33 常用工具：API搜索引擎爬虫代码绘图 LLMAgent：关键能力一任务分解与试错Trial and Error290cF202MINECRHFT子目标 Describe, Explain, Plan and Select:Enables Open-World Multi-Task Agents任务搭建一张床子目标子目标 LLMAgent：关键能力一Long-termMemoryLong-termMemory与RAG区别:WriteAction可读写性ReadObservation与HumanBrainMapping:Along-termmemoryTypebycontentHWOW!:Read and writeInstruction....Episodicmemory:Stores experience,Thought:knowledge,skills,..Semanticmemory.Persist overnewAction:.experienceWAIT.ProceduralmemoryObs:..WNHATWASIThought: .THINKING ABOUT?感觅讯息（视/腰/喉/味/）造忘THETRAGEDYOFATHREESECONDMEMORY编码（encoding)催存(storage) DefinitionExamplesStores experienceGenerativeagents[Park et al., 2023]StoresknowledgeStores skillsVoyager [Wang etal.,2023](sensoryinput)短期記境/工作記境(shorttermmemoryworking memory)提取(retrieval）長期記镜(longtermmemory) LLMAgent：关键能力一自主学习Fine-tuning model weights (the most obvious)FireActOptimizing prompts across tasks-LLM areHuman-level PromptengineersImprove the agent's own codebase - SWE-agentWrite down examples/events to retrieve laterGenerative AgentAppend self-reflection to prompt to try again -ReflextionCombine multiple approachesReflioxdon,2023Fine-Tuning and Prompt Optimization:Two Great Steps that Work Better TogetherDilara Soylu Christopher Potts Omar KhattahStanford UniversityGenerative agents,2023 LLMAgent：新的模型能力获取范式参数学习参数学习输出模型数据集提示工程模型将文本分类为中性、负面或正面。文本我觉得食物还可以。输入情感：模型参数能力提示词机器学习时代大模型时代智能体时代模型能力获取的新范式 02LLMAgents在电力系统研究中的应用思考 大模型的核心能力101010100101NLP自然语言与常识理解Mathematical Modeling数学建模与公式推导 LLMAgent在新型电力系统中的应用思考LLMAgent的潜在应用领域·机器代人（机巡、客服、公文写作等）工作流重构（调度运行规划）·信息-物理-社会系统（CPSSE）仿真·多模态数据融合（数字化服务）·电力系统机理研究(AI4S)在调度运行等核心领域，大模型的推理可靠性与“幻觉“问题，决定了大模型尚不能完全替代人工。已经应用良好的各种基于因果模型的工具无需替代可以考虑采取因果模型+大模型+符号串模型（SPT）+小模型融合的技术路线薛禹胜，新型能源体系（CPSS-EEE）的多日标协调规划httpst//mp.weixin.gg.com/s/fodienZxB24i9MRX6gFa9w赵俊华，文福拴，黄建伟，等基于大语言模型的电力系统通用人工智能展望理论与应用门电力系统自动化202448（6）13-28 在Agen的框架下实现多类模型的融合业务数据文本数据微调/训练大模型/领域小模型大模型场景；决策代价较小的场景；·不适用于需要对电力系统精确量化的场景； 在Agent的框架下实现多类模型的融合文本数据微调大语言模型深度融合/联合推理·实现推理与计算的统一；·较好的模拟因果模型背后的物理机理；神经网络架构尚有待探素·可解释性不足； 在Agen的框架下实现多类模型的融合推理大模型反馈/自学习文本数据业务数据微调/RL训练大语言模型PINN知识表示快速数值计算推理大模型作为大脑“主要负责问题的规划、任务的分解与高层次推理PINN可在尽量保留因果模准确性的前提下，大幅提高计算速度，因果模型可在部分必要场景下，保证决策结果的可靠性·符号模型可以在推理中提取形式化知识，保证智能体整体框架的可解释性： 在Agent的框架下实现多类模型的融合推理大模型反馈/自学习问题规划/任务分解/高层次推理文本数据业务数据微调/RL训练大语言模型PINN因果模型知识表示快速数值计算可靠数值计算知识融合/决策必要的场景中，可以将人引入多智能体框架中：人可以向智能体提供反馈，并作为最终决策者判定决策质量；决定人什么时候介入是一个待解决的课题；Y Cao, H Zhao, Y Cheng. T Shu, Y Chen, G Liu, G Liang, J Zhao, J Yan Survey on large language modelenhanced reinforcement learning: Concept taxonomy.andmethods.JEEETransactionsonNeuralNetworksandLearningSystems,2024 信息物理社会系统仿真大模型的“智能涌现”现象，再次表明复杂系统的研究问题无法完全在还原论的框架下解决受薛禹胜院土的整体还原论（WRT）方法论的启发，我们在思考如何将大模型应用于解决复杂的信息物理社会系统（CPSSE）的仿真问题WRT以CPSSE框架刻画复杂系统，以混合动态仿真来提取对象系统的高维仿真轨迹，基于轨迹动力学的时空保滴映射，将复杂系统的研究从线性的“局部还原”提升为非线性的整体保炳还原大语言模型可以基于仿真或实测轨迹数据，基于其内化的理论常识，以一烂概率在局部自主进行逻辑推理实现对复杂系统局部的可解释性基于大模型内化的理论常识，大模型也可以用作严格因巢模型与近似模型的选择器在CPSSE中社会行为的建模是研究难点我们的初步研究表明，大语言模型已具有模仿人进行系统性逻辑思维的能力。因此，可以在CPSSE仿真中，结合真人因果模型和大语言模型实现更精确的人机混合仿真大模型的推理可靠性与“幻觉问题，自前尚无法完全解决。现阶段，力系统实际的解决方案CPSSE仿真问题解决通过CPSSE对实际系统进行反馈构建大模型驱区动的数字李生，是研究的终极目标。 人机混合智能“可能是最符合电 03LLMAgents的应用初探 基于大语言模型实现高适应性负荷预测（多模态数据融合）范围的新场景3无法基于文本数据（新闻事件）进行预测推理。提出lntelligent Text-Analytic Load Forecasting（ITA-LF)：LLM能够基于语言有效处理、整合非结构化及海量多源数据，通过Age比t筛选实时相关新闻并理解文本逻辑显著提升预测的适应性和精确度。新闻+地理+历史负荷+气家数据+典型天News Categorles?Breakilig NewsPohtical& CrmeSupplyea tinieApplyInitial ReasoningLLMs擅长解析和理解非结构化数据Coufts&LawIVLifestyle TechnologyRankingSelectFinanceSelectionReflectionWeatherVTE.Pablic Health TstieInputInpstValidafiorInpnt: predict thie daly load consumption m hie next day. HistoricalloaddataisrhacnmeerlesyComprehenHistorical Data coverst dieaand the data frequency is3bmdujtntintperpointsivenessTheregionisNSHCLDStTVCt预训练模型能够整合广泛is hotidauname nota holtayl的社会，经济和技术知识Theweather.ofpredictondate:nfiatanmrtepertueavmfeperanme:humichnhnpid pouier,caid jpressipeiNewsbeforetheptedichonNensiriebriefstanmepyyPredicipupubiicmionninefcaregoyfultanticle/Outputrmtyarierofa