360-张锋-智能纽带：AI Agent在解决大模型 应用难题中的关键作用

讲师简介 360人工智能研究院认知引擎负责人 天津大学硕士毕业后，任职华为技术有限公司，先后从事计费产品的研发、设计及项目管理工作，主持参与参数AI Lab的建设，负责大数据平台、推荐平台和建模平台的建设和实施。其中推荐平台在四川电信落地后，显著提升了用户观看时长，大数据平台作为标品，落地数百个据点，成为部门主要现金流来源 后续加入360公司，深耕于人工智能在互联网、物联网、数字化等领域的落地，带领团队主导360大模型的数据、训练、推理、应用等落地工作，以及建模平台、推荐平台、知识图谱平台等产品开发、设计及管理工作，相关成果落地于安全大数据、互联网、企业数字化、AIoT等360集团全量业务场景，支持千万级硬件设备，服务亿级用户 张锋奇虎360 AI研究院技术总监 目录 •LLM落地应用-长板和短板，及当前解决方案•AIAgent的整体框架•AIAgent的应用案例 LLM落地应用-长板和短板 及当前最优解决方案 AGI发展回顾 AGI被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，解决任何问题而不需要人为干预。 ChatGPT的探索，被认为是强人工智能拐点的到来、是超级人工智能雏形，即：LLM to AGI Gemini：再强大的模型，也不万能 Gemini演示中并没有直接采用Agent，但是实际流程并没有两样 我们以为的Gemini Gemini：你在玩石头、剪刀、布。 实际的Gemini 问题1：告诉你看到什么 问题2：你觉得我在做什么？提醒：这是一个游戏。 Gemini：你在玩石头、剪刀、布。 你可以轻易地让任何一个GPT生成一首诗、计算一道奥数题。然而工作中你不需要作诗，也不需要算奥数题。工作中面对是写不完的方案，做不完的报告，和看不完的邮件 LLM应用的能力短板——幻觉、知识/记忆、交互 商业场景使用对内容生成质量容错率极低，只通过简单知识问答，无法生成满意的内容和答案 参数再多、再强的模型，都无法也无法深入的了解一个行业。“海莲花常用的攻击方式是什么？” 2记忆和行业知识问题 面对复杂问题，我们发现除了IT类员工，绝大部份企业员工没有兴趣去学习怎么写提示词 3提示词工程难度问题 企业不可能将现有信息化系统推倒重来大家的共同诉求是大模型能增强、协同、而非取代 与现有信息化系统的协同问题 我们需要一个工具平台，让大模型“扬长避短”，实现大模型实际落地的“最后一公里” LLM的落地工具：长期记忆、接口对齐、任务规划 解决靠堆参数、堆提示词无法解决的复杂推理等问题 广州国庆七日游的亲子游计划，工具使用+多步执行 自主规划和决策的树状复杂问题，路径优解 汇率问题，调用工具获取实时数据 工具可以有效拓展LLM的能力边界 比照行业发展，我们做的就是AI Agent 用LLM作为大脑或这些智体控制者的主要组成部分，并通过多模态感知和工具利用等策略扩展其感知和行动空间 AIAgent的整体架构 AIAgent的架构：一套以LLM作为核心控制器的应用开发工具 以LLM为核心控制器，结合Planning、Tools工具、Memory记忆等组件，解决实时数据获取、复杂任务等各类应用落地问题。 ①LLM大脑：核心控制器。模型一键适配，Prompt模版降低写提示门槛。 ②Planning：将任务拆解，流程具象化，就像工厂流水线一样，在这个流水线中，可以放置不同的工具完全任务的处理。 ③Tools工具：让Agent学会调用各种外部工具，涵盖搜索、文档检索、数据分析、代码编写、教育、投资、出行、娱乐等各种应用。 ④Memory记忆：获取、存储、保留和后续检索信息的过程。包括知识库使用、长短期记忆。使用外部向量存储和快速检索。 AIAgent：Planning规划能力，即任务分解和编排能力 Planning任务规划能力，实现方法主要两类： 自动编排：简单任务，通过Prompt Engine来引导LLM实现规划，主要方式ReAct，FunctionCalling AIAgent：ReAct，增强LLM的推理和执行能力 ReAct框架，发挥LLM推理和执行能力的协同作用，通过问题分解+依靠外部能力来解决问题。 ReAct框架，在可解释性和可信赖性等方面，优于其他先进的基线。 AIAgent：FunctionCall 可以让开发者在调用语言模型时，通过用户提问和描述函数让模型智能地输出一个包含调用这些函数所需参数的JSON对象。 AIAgent：Memory记忆，是LLM的内存和硬盘 Firstofall，人类擅长拥有不同类型记忆能力，而LLM很难理解新概念或者少量新数据。 1.感知记忆可以作为LLM或者多模态的Embedding输入表示（包括文本、图像等）。2.短期记忆STM使用In-context Learning，受到Transformer有限SeqLen长度限制（2Kto8K）3.长期记忆LTM借助外部向量存储，Agent可以快速查询、快速检索，从而进行访问。 AIAgent：Tools，学会使用工具是LLM进化的分水岭 Tools是LLM的武器库，学会使用工具，大模型获得了行动能力，打破大模型的应用边界。 AI Agent的未来 AIAgent更多给我们呈现了一种AGI的可能性，将LLM的能力延伸到更复杂的任务和更多的业务领域。 多模态的Agent：多元化的交互感知（图像、视频、表单、代码）是Agent智能化方向之一。万物皆可Agent：垂类Agent，通过分布式决策，实现自组织自决策从LLM中来，到LLM中去：会有更多专业LLM服务Agent AIAgent应用案例 1.业界进展 GPTs：智能体的新纪元，普通人的AI 以模型能力为核心，支持记忆和外部API，在无需编码的情况下，可以构建个性化智能体，实现全民AI。 1.业界进展 微软Copilot：在TOC和TOB同时落地Agent框架 TOB:Graph、Office365、Connector 1.业界进展 微软Copilot：在TOC和TOB同时落地Agent框架 Copilot构建示例-查账单 1.业界进展 Generative Agents：智能体的互动涌现出复杂行为 斯坦福“西部世界”虚拟小镇，在一个Smallville沙盒世界里住着25个小人(GPT agents)，互相自由沟通交互，出现了一系列的人类社会行为(信息传播、关系记忆和协作)。 1.业界进展 Automatic Agents：任务规划的早期探索者 给Agents一个/多个目标，独立地执行这些目标。这些应用程序结合了工具使用和长期内存。典型的有AutoGPT，BabyAGI。 AutoGPT以LLM作为主控制器来建立AIAgents，作者提供了很多API代码来解析数据格式，帮助AI Agents更好地理解和处理自然语言输入，虽然目前还处于试验的阶段。AutoGPT的核心逻辑是一个Prompt Loop 1.业界进展 HuggingGPT：垂类Agent的典型代表 LLM作为中心Agent，模型作为ToolsorAction，执行分为四个阶段： 1.任务规划（Task Planning）：LLM把用户请求分解成任务集合，决定执行顺序和任务之间的资源依赖； 2.模型选择（Model Selection）：根据HuggingFace模型描述，LLM把任务安排给对应的模型；3.任务执行（Task Execution）：HuggingFace上的模型执行指派的任务；4.响应生成（Response Generation）：LLM集合模型输出结果，生成workflow日志摘要返回给用户。 2. 360Agent进展——场景 2. 360Agent进展——能力 零代码Agent Studio 零代码Builder，简单几步完成工具使用 2. 360Agent进展——能力低代码Agent Studio 拖 拉 拽 降 低A g e n t研发成 本 平台优点： •低代码配置大模型工作流，加快大模型应用创作•复杂任务可分解、可干预、可编辑、可迭代。•任务执行过程可控，可调试，结果稳定，高质量•专家经验可以化作工作流训练到大模型•外部工具可化作API训练到大模型里。 2. 360Agent进展——能力 FunctionCall搜索增强 传统搜索：关键字匹配onebox 传统搜索：换个说法可能就匹配不上了 2. 360Agent进展——能力 带追问能力的搜索增强 2. 360Agent进展——能力 论文AI助手 让大模型自主总结分析论文、报告等知识内容 2. 360Agent进展——能力 写作Agent 生成内容→生成标题→生成配图 2. 360Agent进展——落地 搭建数字员工，旅游规划师、Github趋势分析师，IT运维等 欢迎体验 数字员工官网：https://ai.n.cn/ 申请试用：