Spring AI Alibaba Graph 智能体开发指南与实践

原生应用AI开源开发者沙龙 中国|上海站 SpringAIAlibaba Graph智能体开发指南与实践 刘 军 2 0 25/ 08 Agent开发模式Agent、Workflow、Multi-Agent等主流智能体开发模式01 CONTENT目录 Spring AI Alibaba Graph如何使用Spring AIAlibaba定义和编排Agent02 分布式Agent03基于A2A协议与Nacos的远程分布式Agent架构 Spring AI Alibaba StudioPlatform04 Agent开发、调试、评估、部署平台 Part 1 Agent开发模式 主流Agent开发模式 快速构建单智能体应用 最简单的智能体应用！同时也是最高级的智能体应用！ 在当前模型能力下单智能体架构的局限 1.如果一个agent包含有太多的可用tools，模型会在决策工具选择时无所适从，效果变差 2.多轮执行下来，消息上下文会变得很大。消耗大量的token且影响模型当前专注度 3.模型上下文窗口有限 4.对于很多复杂的任务，不止需要很多个步骤，通常在某些环节还需要专业领域技能支持，比如科学计算、深入研究、写代码、绘画、任务规划等。 5.单Agent在复杂任务场景下的可维护性会变差 典型的workflow模式-Routing 典型的MultiAgent模式 Part2 使用Spring AI Alibaba Graph编排智能体 Spring AI AlibabaAgentic Framework架构图 Spring AI Alibaba是一款灵活的、模块化的智能体Agent开发框架。 让开发人员更容易创建、部署和编排从简单任务到复杂工作流的Agent智能体架构。 Agent基本定义 •name（必须），智能体名称，在多agent场景下要求必须唯一。 •model（必须），模型s，使用SpringAI底层原子抽象，模型厂商无关。 •description（可选），智能体所具备能力的描述总结，多agent场景下必填。 为Agent设置指令、工具、更多参数配置 •Instruction（可选），类似Prompt，描述任务/目标、角色、行为、步骤、如何使用工具等。 •Tools（可选），标准的SpringAI工具，支持MCP，agent也可以作为工具。 •chatOptions（可选），控制底层模型行为的参数，包括temperature、topK等，支持扩展httpheaders 支持的Agent类型 Spring AI Alibaba Graph支持的Agent类型：ReactAgent、工作流、多智能体、A2A远程智能体 不同Agent类型特性与适用场景 Workflow Agent–SequentialAgent Workflow Agent–SequentialAgent •state（必须），通过State指定多个Agent间的上下文传递，上一个Agent的输出、下一个Agent的输入。 Workflow Agents–Parallel Agent Workflow Agents–Parallel Agent Workflow Agents–Parallel Agent •ReactAgent可作为SequentialAgent的子Agent •SequentialAgent与ParallelAgent间可互相作为子Agent Workflow Agents–LoopAgent Multiple Agents–RoutingAgent Multiple Agents–RoutingAgent 流程编排引擎–Spring AIAlibaba Graph Graph是整个框架的底层核心引擎，负责运行、编排多个Agent。 Nodes：可以调用模型、工具、或者是其他任意代码逻辑，我们定义的Agent最终会以Node的形式编排。 Edges：边将多个Node连接在一起，边可以是无条件的、带条件的、模型决策的，通过边组成了串行、并行等流程。State:定义了在Node与Edge之间传递的数据结构，是整个Agent上下文传递的核心载体。 使用GraphAPI实现更灵活的流程编排 相比预定义的AgentAPI，开发者可以直接使用Graph API开发Agent智能体，对流程、逻辑、节点有更全面的控制。 Graph框架解决更多Agent开发&运行过程中的问题 •Model agnostic•Built-in Tools•MCP•RAG•Code Execution•Subgraphs•Multi-agent•Callbacks•Tracing•Evaluation 流式响应对于Agent交互非常关键，同时与模型生成式的特性非常契合，框架可以将每个Node节点的运行情况、LLMToken实时的发送到用户端。 允许对Agent运行过程中的工具调用进行评估、修改、批准。在模型驱动的应用中特别有用，让用户具备为Agent验证有效性、纠正错误、增加上下文的能力。 历史消息传递；长期记忆指跨多个会话时，Agent可以了解历史用户偏好与信息。 Part3 基于A2A的分布式Agent Agent2Agent（A2A）协议简介 Spring AI Alibaba Graph如何调用A2A远程智能体 基于NacosA2ARegistry的远程智能体自动发现 •Agent可以通过SAA等在启动时自动注册到Nacos上•通过agent名或id自动发现AgentCard并发起调用•编排器Agent可通过skills等条件自动发现AgentCard列表并配合SAA自动生成可调用的subagent•支持注册Agent的版本管理 Part4 Spring AI Alibaba Studio 智能体创建、调试、部署、运维的全生命周期Agent开发平台 可视化快速创建智能体 除了编码AgentAPI，Spring AI Alibaba Studio提供了可视化创建智能体的UI界面，调试完成可快速转为工程代码。 兼容Dify智能体格式转换 基于AG-UI的可视化调试 2.支持流式输出 Roadmap •围绕Spring AI Alibaba Graph框架Agent范式，加速Agent开发（框架/低代码/零代码/）、调试流程。 •以数据为中心提升智能体效果，围绕观测、评估体系加速Agent从Demo走向生产落地。 谢谢Thank You Higress在快手落地的生产实践 崔元桢 快手-技术专家 01背景与挑战 Contents目录 03快手实践分享 04未来展望 1、背景与挑战 大模型生态发展带来的机遇和挑战 机遇： LLM应用开发生态蓬勃 一众低成本模型发布 挑战：1.LLM应用的场景及数量井喷式发展2.各厂家LLM模型持续迭代和更新3.行业处于高速发展期，标准化程度低消费侧供给侧 2、解决方案 思路：利用Gateway解耦复杂度 技术选型：AI GatewayVs传统Gateway LLM场景的特殊性： •计量与限流维度不同：需要按token用量来度量•请求/响应不可预测：LLM输出具有非确定性，可能生成意外内容。•多后端动态路由：AI场景下常需接入多个模型服务（不同厂商或不同能力模型），还需要智能流量调度。•成本优化：大模型调用极其昂贵，需要进行精细化成本管理。•上下文与状态管理：提供会话级别的上下文缓存或与向量数据库集成来注入聊天记忆。 技术选型：Why Higress? 选型核心诉求：稳定、可扩展、生态好 3、快手实践 快手实践：流量染色 LLM网关流量染色：1.基于请求的基础Header2.查询其业务特征，并染色请求3.智能路由插件，基于染色信息完成调度决策 快手实践：生产级计量系统 LLM计量：1.用Header标记流量2.插件只推数据，旁路组件异步写3.使用Ck&Hive存储 4、未来展望 未来展望 THANKS Apache RocketMQ×AI AI Agent的事件驱动架构实践 周礼 阿里云智能云原生技术专家 01传统消息队列在AI场景中的局限性 02Lite-Topic：面向AI领域的新范式 Contents目录 03优先级Topic：面向AI场景的分级消费策略 04面向AI场景的应用案例 1、传统消息队列在AI场景中的局限性 AI业务场景的新特性 更长的响应时间 更复杂的交互 •和传统互联网应用毫秒级的延时比，AI应用的响应时常基本是分钟级以上。•AI应用一次业务的运行时间不可预测性更高。 •AI应用的的多轮对话持续时间长，历史可达数十轮。•上下文的传输可能达到几十甚至上百M，上下文管理难度更高。•多agent之间的协同更加复杂。 更昂贵的计算资源 更精细化的事件驱动 •因为计算能力有限，异步事件驱动需要更精准的消费速度控制。•分级的事件驱动策略，确保高优先级任务优先获得宝贵的计算资源。 •AI推理依赖昂贵的GPU资源，瞬时高并发流量可能冲击推理服务稳定性，导致算力资源浪费。•任务失败重试的成本更高。 AI时代RocketMQ新特性 轻量化通信模型 大上下文管理 智能化资源调度 •定速消费•优先级消费•优先级修改•确保在高并发和多租户环境下高效利用资源 •以连续的消息保存上下文•支持超大消息体•顺序、互斥消费保证上下文的完整 •轻量级的资源管理，低开销的资源创建支持海量会话场景•更细粒度的的订阅管理•适用于长时会话、AI工作流和Agent-to-Agent交互等场景 2、Lite-Topic：面向AI领域的新范式 轻量化通信模型： •百万级队列支持：RocketMQ支持在单个集群中高效管理百万级Lite-Topic，能够为海量并发会话或任务提供独立Topic，并且保障性能无损。•轻量化资源管理：RocketMQ队列的创建和销毁极其轻量和自动化，系统可按需自动创建与回收Lite-Topic（如客户端连接断开或TTL到期时），避免资源泄漏和手动干预，显著降低使用复杂度和成本。•大消息体传输：RocketMQ可处理数十MB甚至更大的消息体，充分满足AIGC场景中常见的庞大数据负载的传输需求，如大量上下文的Prompt、高清图像或长篇文档等。•顺序消息保障：通过顺序消费，确保推理结果流式输出到客户端的顺序性，保障会话体验连贯流畅。 轻量级Topic： •基于百万队列的方案，本质上是一个个queue•从全局上来看，一个轻量级Topic不会存在于每一个broker上，在分配和发送时像顺序Topic的发送一样要做queue的hash•Queue的消息是某个broker专属的，一个轻量级topic的发送在只会到一台broker，而不是轮询发送 轻量级订阅： •消费组group的概念被弱化•订阅关系粒度更细，以client_ID维度维护•新增互斥（Exclusive）消费模式•没有订阅关系不一致导致的各种消费问题•TTL到期后自动删除订阅关系 消费分发策略： •客户端发起读请求不再指定topic，而是broker根据client_ID识别订阅关系，并返回多个topic的多条消息•引入类似epoll机制的topic readyset，在pop请求处理时直接访问就绪的topic•当订阅上线、新消息发送、消息ACK后仍有消息、order lock释放时往topicreadyset进行add操作 3、优先级Topic：面向AI场景的分级消费策略 大模型服务在资源调度上，普遍面临两大核心挑战 •负载不匹配：前端请求突发性强，而后端算力资源有限且相对稳定，直接对接易导致服务过载崩溃或算力资源浪费。•无差别分配：在实现流量平稳后，如何确保高优先级任务优先获得宝贵的计算资源，成为提