AI Agent发展趋势及架构演进

编程范式的演进

• Andrej Karpathy 提出编程范式正从传统模式向 AI 原生应用开发转变。
• AI 原生应用开发面临三个关键问题：选择 Agentic 或 Workflow 模式、决定使用单 Agent 还是多 Agent、以及采用 Prompt Engineering 还是 Context Engineering。

AI 原生应用架构的实践

• SpringAIAlibaba：基于 Spring AI 的 AI 应用开发框架，支持 ChatBot、工作流和多智能体应用开发。
  • Graph 多智能体框架：支持 workflow 和 multi-agent 编排，支持 DifyDSL 互转与可视化调试。
  • AI 生态集成：与百炼企业知识库、ARMS AI 可观测、Nacos MCP Registry、Higress AI Gateway 深度集成。
  • Jmanus 智能体平台：推动自主规划能力应用于垂直场景。
• Nacos：为企业级场景打造专属私有化 MCP 注册中心。
• RocketMQ：解决多轮次、长耗时 AI 会话的状态管理问题，支持百万级队列、轻量化资源管理、大消息体支持、顺序消息保障和强大的可观测能力。
• AI 应用可观测性：基于 OpenTelemetry 构建 AI 全栈监控大盘，包括模型性能分析、Token 成本分析、GPU 资源异动分析等。
  • AI 应用黄金三指标 (TED)：TTFT (Time to first token)、TPOT (Time per output token)、模型推理关键指标 (KVCache 缓存命中率、GPU 利用率、显存利用率、吞吐)。
  • 基于可观测数据的评估：实现 AI 应用的“回归测试”。
• LoongSuite：可观测采集套件正式开源。

未来规划

• SpringAIAlibaba：AI Agent 插件、增强的 RAG 插件、增强 ai-load-balancer 插件、SAA Admin、DataAgent、Deep Research 智能体、动态 Prompt 管理、Agent 自动注册发现、A2A 协议支持。
• RocketMQ：轻量级 Topic、优先级消息、支持多 Agent 的异步通信场景。
• LoongSuite：主流 Agent 框架的支持、支持 A2A 协议、MCP 可观测、实现端到端可观测性、采集、存储、展示、到评估全周期覆盖。

EventBridge 多源 RAG 能力发布

• EventBridge：事件总线模型和事件流模型，提供多事件路由、事件匹配、事件转换等核心能力。
• 多源 RAG：支持非结构化数据 Loader 和结构化数据支持，支持多种向量数据库入库，支持实时推理/异步推理-结构化输出。
• AI 领域 ETL 的最佳实践：包括数据预处理、检索增强生成 RAG（Retrieval-augmented Generation）的简易数据入库、检索增强生成 RAG 的增强数据入库、数据清洗与标准化、数据富集与打标、合规与隐私保护。

Jmanus 智能体平台

• Jmanus：为 Java 开发者打造的、追求高成功率的面向生产 Agent 框架，特色技术包括无限上下文、一切可界面配置、计划模式、纯 Java 实现、MCP 集成。

驾驭不确定性：MCP 时代 AI 应用的上下文工程探索

• MCP (模型上下文协议)：开源协议，旨在让大型语言模型 (LLM) 能够以标准化的方式连接到外部数据源和工具。
• MCP 与 Function Calling 的关系：MCP 是通用协议层的标准，类似于“AI 领域的 USB-C 接口”；Function Calling 是大模型厂商提供的专有能力，不同大模型厂商之间在接口定义和开发文档上存在差异。
• MCP 的工具选择实现：DeepChat 和 Cline。
• 流式实时解析的优势：保留模型思考输出、重试与强调、前置参数解析与校验。
• MCPRegistry：集中式管控的 MCP 服务仓库，可以动态发现和管理 MCP 服务仓库中的各种 MCP 服务。
• 阿里云 AI 网关 (Higress) 的解法：支持 A2A 协议、MCP 可观测。
• 进阶至上下文工程：
  • 术语更迭：从“提示词工程” (Prompt Engineering) 转变为“上下文工程” (Context Engineering)。
  • 上下文长度拓展迅速：保留 Context 缓冲区，避免下一次请求直接冲破模型上下文限制。
  • 多轮对话的性能下降：多轮回话场景中，history_messages 不应视为固定值，而是将其作为需要精心构建维护的可变值。
  • 动态会话精简：
    • 留头存尾：保留对话的开头（初始指令）和结尾（最近的交互），并策略性地移除中间部分的对话历史。
    • 利用 LLM 摘要总结：让 LLM 做上下文摘要从而进行压缩。
    • Context 压缩技术：
      • 指令拆分到多轮对话，相比一次性完整上下文，性能下降 39%。
      • LLM 优化适应“顺风路”场景——全面输入到目标输出有清晰路径。“校正方向”像逆流而上。
      • 碎片化指令整合为完整提示，性能恢复到 95%。