AI Agent发展趋势及架构演进

AIAgent发展趋势及架构演进 AI原生应用开发实战营成都站 1.编程范式的演进2.AIAgent核心演进路线3.AI原生应用架构的实践 编程范式的演进 AndrejKarpathy,director of artificial intelligence and Autopilot Vision at Tesla,exOpenAICo-founder,Software Is Changing (Again) AI原生应用开发全景图 Agent开发范式:三个关键问题 •Agenticorworkflow? •单Agentor多Agent? •PromptEngineeringorContextEngineering? Agenticorworkflow 真实的场景往往并非二选一 单Agentor多Agent 多Agent模式 单Agent模式 •适用场景：任务复杂、子任务明确、并行处理需求高、需强容错能力 •适用场景：任务简单单一、目标明确、响应快速场景 优势 优势 局限 局限 •处理复杂多步骤任务•并行执行提高效率•提升目标完成度和准确性 •架构与协作复杂•资源与成本上升•调试难度加大 •开发与维护简单•成本较低（单次LLM调用）•响应速度快 •复杂任务处理能力有限•模型的上下文窗口限制•扩展性受限 PromptEngineeringorContextEngineering PromptEngineering ContextEngineering •面向Agent场景•为AI模型提供完成任务所需的全部背景信息、数据和知识，构建一个有深度、有记忆的环境•关键能力：提示词，记忆，状态，RAG •面向chat场景•精心设计单次交互的指令或问题，即“问出正确的问题” SpringAIAlibaba：打造全场景JavaAI应用开发框架 Spring AI Alibaba是一款以Spring AI为基础，深度集成百炼平台，支持ChatBot、工作流、多智能体应用开发模式的AI框架。 1.Graph多智能体框架。支持workflow、multi-agent编排；支持DifyDSL互转与可视化调试。 2.通过AI生态集成，解决企业智能体落地过程中关心的痛点问题。与百炼企业知识库、ARMSAI可观测、NacosMCP Registry、HigressAI Gateway深度集成。 3.探索具备自主规划能力的通用智能体产品与平台。Jmanus智能体平台推动自主规划能力应用于更多垂直场景的复制与落地。 Nacos:MCPRegistry和Prompt管理 为企业级场景打造专属私有化MCP注册中心 RocketMQ:解决多轮次，长耗时AI会话的状态管理问题 场景痛点 场景痛点：多轮次、长耗时AI会话中的状态管理噩梦RocketMQ提出了一种革命性的轻量化模型——“会话即主题”（Session-as-a-Topic），其核心思想是为每一个会话（Session）或问题（Question）创建一个专属的轻量主题（Lite-Topic）。 方案特性 •百万级队列支持：RocketMQ支持在单个集群中创建和管理百万级Lite-Topic。这意味着为海量并发会话或任务创建独立Topic成为可能，且性能无损。•轻量化资源管理：RocketMQ队列的创建和销毁极其轻量和自动化。系统可实现按需自动创建Lite-Topic，并在无连接后自动回收，彻底避免了资源蔓延和手动干预，解决了资源管理的后顾之忧。•大消息体支持：对于AIGC场景，消息体可能包含大量上下文的Prompt、高清图片或长篇文档的AI回复。RocketMQ支持数十MB甚至更大的消息体，完美满足了这些数据传输需求。•顺序消息保障：在单个会话队列中，用户往往采用LLM的流式输出模式降低问答延迟，RocketMQ支持顺序消息，能确保了推理结果流式输出到客户端的顺序性，这是保障会话体验连贯性的基石。•强大的可观测能力：系统支持OpenTelemetry标准的Metrics和Tracing，可以监控消息收发量、消息堆积情况，还可以查询每条消息收发的轨迹详情，这对于调试和优化复杂的多Agent交互至关重要。 AI应用可观测性的痛点 模型推理问题 成本问题 数据质量问题 回答效果不好，如何进一步提升数据的质量和准确性？ 推理性能慢，服务器频繁超时，慢在哪里？模型输出的内容是否准确，是否合规？ 账单增长这么快，Token消耗在哪里？ 用起来 用的好 用的省 基于OpenTelemetry的AI应用可观测性 模型调用全链路诊断 模型生成结果评估 AI全栈统一监控 基于Prometheus构建AI全栈监控大盘，包括模型性能分析、Token成本分析、GPU资源异动分析等。 构建统一日志分析平台，对模型调用日志进行二次评估分析，实现质量、安全、意图提取等语义检测。 基于OpenTelemetryTrace实现用户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。 AI应用可观测性的关键指标 LLM应用黄金三指标(TED) 模型推理关键响应时间指标： •TTFT(Timetofirsttoken):Prefill阶段关键指标•TPOT (Timeperoutputtoken)：Decode阶段关键指标 评估类指标： •准确性•偏见（公平性）•毒性（安全性）•幻觉（可靠性） 模型推理关键指标： •KVCache缓存命中率•GPU利用率•显存利用率•吞吐 基于可观测数据的评估：AI应用的“回归测试” LoongSuite:可观测采集套件正式开源 未来规划 SpringAIAlibaba Nacos SpringAIAlibaba Higress •AI Agent插件•增强的RAG插件提升查询准确率•增强ai-load-balancer插件提升KV缓存命中率 •Spring AI Alibaba支持A2A协议•发布SAA Admin，提升Agent开发、调试、评估效率•DataAgent，Deep Research智能体 •动态Prompt管理•Agent自动注册发现•A2A协议支持 RocketMQ LoongSuite •主流Agent框架的支持•支持A2A协议，MCP可观测•实现端到端可观测性•采集，存储，展示，到评估全周期覆盖 •轻量级Topic•优先级消息•支持多Agent的异步通信场景 构筑AI领域的数据ETL EventBridge多源RAG能力发布 肯梦 阿里云产品经理 01AI时代的数据准备与处理 Contents目录 02EventBridgeForGenAIData 03AI领域ETL的最佳实践 AI时代的数据准备与处理01 什么是AI？ 人工智能（AI）诞生于20世纪50年代，自90年代以来随着数据量的爆发式增长以及算力的不断提升，AI被广泛应用于各行业，为社会带来巨大机遇。AI提升了企业的决策效率和精准度，驱动创新，优化运营，并助力组织变革和构建竞争优势。 麦肯锡调研显示，2022年全球有50%的公司部署了AI，投资超过总预算的4%。生成式AI（GenAI）的崛起进一步推动了企业转型，其在流程优化、个性化服务等方面的应用超越了传统AI。 人工智能的发展历程，即感知人工智能（Perception AI）->生成式人工智能（Generative AI）->智能体人工智能（Agentic AI）->具身人工智能（Physical AI），代表了人工智能从基本数据解读到复杂的现实世界交互的演进。 AI时代的数据挑战与机遇-GenAI演进 最初的起点 从现在的视角看，可能过于“简陋”，不过当时大语言模型刚出来的时候，一些基于AI LLM能力之上包装的一些现象级的应用产品，都是使用这么直白的架构，比如文本总结、AI算命、AI情感等，在这个架构下能起到比较大作用的是Prompt的调优。 AI时代的数据挑战与机遇-GenAI演进 增强上下文 上下文增强主要是解决模型在处理特定问题时候的信息补充，在上下文增强上，比较常用的技术是RAG，RAG提供了面向模型输入Prompt做动态信息增强的能力。 主要用途包括： 1.问题域特有信息；比如分析用户在某个平台购买喜好时，需要给到一些用户在该平台购买的数据； 2.时效信息；比如股票信息，实事新闻等； AI时代的数据挑战与机遇-GenAI演进 Agent模式 Agent是在特定环境下的plan+tools，特定环境限制的是Agent的创建是面向一定的场景和问题域的，plan说明Agent有思考和规划能力，且有根据反馈做循环迭代的能力，Tools是指具备和外部交互能力的。tools的范围是围绕在当前定义的场景和问题域下用于解决该类场景问题所需要的对外的行为的集合； AI时代的数据挑战与机遇–数据种类 AI时代的数据挑战与机遇–主流数据采集 AI时代的数据挑战与机遇–GenAI+数据？ 扩展难 一个简单的数据集成总是愉快而且轻松的，但是随着结构化数据和半结构化数据的加入，如何扩展便成了最大问题 运维难 一个简单的数据任务运维总是愉快而且轻松的，但是当业务逐渐扩展，很快便会出现无休止的修复和更新。 稳定性差 模型上下文是否准确一定程度上决定了AIAgent是否可上生产，数据链路的问题型是最关键的一环。 EventBridgeFor GenAIData02 Event&Bridge–Event是什么？ 简单来说，事件就是状态的显著变化，针对当用户采取特定行动时触发或指一切能够输入计算机中，且能被处理的符号。 以4S店售卖汽车为例： •当客户购买汽车并且其状态从For Sale变为Sold是一个事件。 •成功交易后，从帐户中扣除金额是一个事件。•单击预订试驾后，从将预约信息添加到指定用户就是一个事件。•用户资料和预约单本身也可以成为一个事件。 Event&Bridge–EventBridge是什么？ Event&Bridge–EventBridge是什么？ 事件总线模型 经典EDA（事件驱动）场景的N：M模型，提供多事件路由，事件匹配，事件转换等核心能力，帮助您快速搭建事件驱动架构。 Event&Bridge–EventBridge是什么？ 事件流模型 标准Streaming（1:1）流式处理场景，无总线概念。使用于端到端的数据转储，数据同步及数据处理等，帮助您轻松构建云上数据管道服务。 EventBridge多源RAG能力概述 多源RAG-非结构化数据Loader 非结构化数据支持读取多种非结构化数据结构读取，如TEXT，JSON、XML、YAML、CSV等。兼容主流Loader数据处理方式，包括单文档加载，分块加载等。 结构化数据支持读取多种结构化数据源拉取，如Kafka，RokcetMQ、SLS、MQTT、数据库等。为客户提供丰富的数据源支持。 多源RAG–向量数据库入库 多种向量数据支持支持专用向量数据库和传统数据库向量插件等，涵盖市面主流向量数据库能力，支持一键白屏化入库。 实时推理/异步推理-结构化输出 结构化输出 大型语言模型(LLM)的结构化输出是指让模型生成特定格式的数据，而不是自然语言文本。通常，LLMs默认的输出是非结构化的，例如散文、段落或对话。然而，在很多数据处理场景中，我们需要模型能按照预定义的格式（如JSON、XML、YAML、CSV甚至是特定的代码结构）来输出信息。 EventBridge支持产品化结构输出，优先使用模型JsonSchema能力，当模型原生不支持JsonScheam入参时，通过产品化提示词注入解决LLM链路结构化输出的问题。 AI领域ETL的最佳实践03 实时推理/异步推理数据应用层使用，通过调用模型推理能力，增强数据Transform能力，完成传统数