2025年AI应用&AI Agent开发新范式

阿里云智能云原生应用平台 AI应用架构新范式01 AI Agent架构和发展趋势 MCP是什么 模型上下文协议（ModelContextProtocol）是一个开源协议，由Anthropic（Claude开发公司）开发，旨在让大型语言模型（LLM）能够以标准化的方式连接到外部数据源和工具。它就像AI应用的通用接口，帮助开发者构建更灵活、更具上下文感知能力的AI应用，而无需为每个AI模型和外部系统组合进行定制集成。MCP被设计为一个通用接口，类似于USB-C端口，允许LLM应用以一致的方式连接到各种数据源和工具，如文件、数据库、API等。 标准化 可扩展性 安全性 模块化 MCP标准化了LLM访问外部数据的方式，简化了不同数据源和工具的集成。 MCP提供结构化的访问模式，内置验证，确保数据交互安全且受控。 MCP使得添加新数据源或工具变得简单，无需大幅修改现有系统。 MCP促进了模块化设计，允许独立开发和维护不同组件。 MCP协议的运作机制 MCP协议的核心 MCP不像传统的协议定义，它没有一个确定的数据结构。它的核心是通过自然语言描述清楚有哪些MCPServer，承担什么作用，有哪些MCPTool，承担什么作用，然后让大语言模型通过推理去选择最合适的MCPServer以及MCPTool。所以它的核心本质上还是提示词工程。 Cline给LLM的系统提示词，以及DeepSeek的响应 Ø告诉LLM你有一堆工具可以用。Ø告诉LLM每次你只能选一个工具用。Ø告诉LLM工具是通过XML描述定义的。并详细描述了XMLTag的定义。并给出了样例。本质就是告诉LLM你选择完后该返回什么样的格式。 Ø将用户的问题和系统提示词一起输入给LLM。 ØLLM得到用户的问题和MCP的一大堆信息后开始推理。Ø最后选择了可以解决用户问题最合适的MCPServer和MCPTool，并以XML格式返回给Client/Agent。 Ø向LLM解释了什么是MCP。Ø对每个MCPServer和MCPTool做了详细描述。包括传参格式。 MCP和FunctionCalling之间的区别 ØMCP是通用协议层的标准，类似于“AI领域的USB-C接口”，定义了LLM与外部工具/数据源的通信格式，但不绑定任何特定模型或厂商，将复杂的函数调用抽象为客户端-服务器架构。 ØFunction Calling是大模型厂商提供的专有能力，由大模型厂商定义，不同大模型厂商之间在接口定义和开发文档上存在差异；允许模型直接生成调用函数，触发外部API，依赖模型自身的上下文理解和结构化输出能力。 统一MCP客户端和服务器的运行规范，并且要求MCP客户端和服务器之间，也统一按照某个既定的提示词模板进行通信，这样就能通过MCP Server加强全球开发者的协作，复用全球的开发成果。 需要为每个外部函数编写一个JSON Schema格式的功能说明，精心设计一个提示词模版，才能提高Function Calling响应的准确率，如果一个需求涉及到几十个外部系统，那设计成本是巨大，产品化成本极高。 MCP的本质和挑战 模型上下文协议（ModelContextProtocol）并不是一个确定的数据格式或数据结构，它是描述MCP信息的系统提示词和MCP Server和LLM之间的协同关系的结合。 延伸出值得思考的点： Ø目前负责协同的工具很少，比如Cline，Claude，且都是C/S工具，如何和企业级的AI应用结合？能不能结合？ØMCPServer会很多，如何管理？Ø现存业务能快速转成MCPServer吗？Ø在这个新的协同关系下，AI应用该怎么开发？Ø企业级AI应用中，身份认证、数据权限、安全这些如何做？ AI应用架构新范式刨析 原有的AI应用架构结合MCP，我们定义了AI应用架构的新范式。 调用链路说明 Ø一个云原生API网关三种角色，具备统一的管控底座，同时又实现各角色的协同调度。ØMSENacos发挥注册中心优势，增加MCPServer的注册能力，实现普通服务和MCPServer的统一管理，结合网关实现现存业务0改造转换为MCPServer。ØSAE托管Dify，一键部署Dify，解决自建部署高可用，稳定性，性能问题，使AIAgent的运行引擎更稳定。ØFC具备丰富的触发器和各语言运行环境，支持流程编排，可快速开发AIAgent，并且提供MCPSDK，实现快速开发、封装MCPServer。 ①用户向AI应用发起请求，请求流量进入流量网关（云原生API网关）。 ②云原生API网关侧维护管理了不同类型的AIAgent的API或路由规则，将用户请求转发至对应的AIAgent。③AIAgent无论以哪种方式实现，只要其中的节点需要获取数据，便向MCP网关（云原生API网关）请求获取可用的MCPServer及MCPTool的信息。④因为MCP网关处可能维护了很多MCP信息，可以借助LLM缩小MCP范围，减少Token消耗，所以向AI网关（云原生API网关）发请求和LLM交互。（这一步可选）⑤MCP网关将确定好范围的MCPServer及MCPTool的信息List返回给AIAgent。⑥AIAgent将用户的请求信息及从MCP网关拿到的所有MCP信息通过AI网关发送给LLM。⑦经过LLM推理后，返回解决问题的唯一MCPServer和MCPTool信息。⑧AIAgent拿到确定的MCPServer和MCPTool信息后通过MCP网关对该MCPTool做请求。 实际生产中③-⑧步会多次循环交互 云原生API网关简介 云原生API网关在应用架构的核心作用–链接生态 云原生API网关–API网关 API First（前后端分离并发开发）/API防护（默认安全/高可用）/API货币化（扩大生态做营收） 核心优势 智能化 ØAI辅助API设计ØAI Mock数据ØAI生成端代码ØAI测试/诊断 策略丰富 Ø内置10+系统策略Ø支持30+插件策略Ø支持自定义策略（多语言） 开源开放 Ø支持Swagger（OAS标准）Ø支持Ingress / Gateway APIØ开源Higress无厂商锁定 云原生API网关–MCP网关 秉承着自己吃自己狗粮的原则，云原生API网关在阿里集团内部已经有很多业务在深度使用，在企业级产品能力，稳定性，性能方面已经有多个大体量业务的背书。 云原生API网关作为流量网关，白屏操作 云原生API网关作为流量网关，白屏操作 云原生API网关作为AI网关，通过Ingress集成PAI的管控 Ø支持1W+超大路由/域名规模场景，多租共享集群模式，切换到Higress后路由配置生效RT从原10分钟降到30秒内Ø构建完善可观测体系 Ø支持长连接SSE/WebSocket，热更新对长连接流量无损Ø支持流式传输，满足AI大带宽/高延时特性诉求Ø支持多种安全认证与限流防护 Ø支持长连接SSE/WebSocket，热更新对长连接流量无损Ø支持流式传输，满足AI大带宽/高延时特性诉求Ø高可用，99.999%SLA 流量网关 AI模型 AI模型服务平台 AI应用 云原生API网关底座核心优势03 云原生API网关–高性能（比自建性能高1-5倍） 2、硬件加速HTTPS QPS提升约112%，RT下降50% 1、Nginx Ingress高出约90% 3、硬件加速压缩/解压缩提升300% 加速前： 加速后： 注：测试采用HTTPS短连接且关闭session ticket复用。 网关规格：16C32G * 4节点ECS型号：七代机（ecs.c7.8xlarge） 网关规格：2C4G * 1节点ECS型号：八代机 网关规格：1核2 G * 1节点 云原生API网关–高可用（SLA:99.99%） Ø网关自内部2020.5上线，已在支付宝、钉钉、淘宝、天猫、优酷、飞猪、口碑等阿里各业务系统中使用，数年以来可用率100%，无任何故障。Ø历经多年双11海量请求的考验，大促日可轻松承载每秒承载数10万笔请求，日请求量达到百亿级别。 技术积淀已久，历经多年双11考验，每秒承载数10万笔请求 云原生API网关–安全能力 核心优势 Ø登录认证 Ø支持JWT/OIDC/自定义多种认证登录机制Ø集成IDaaS对接支付宝，淘宝等三放认证Ø支持黑白名单 Ø流量防护 Ø更短用户的请求链路Ø支持路由级防护能力 Ø自定义插件 Ø内核优势 Ø采用数据面+控制面分离架构，防止控制面风险外溢到数据面Ø采用WASM扩展机制，控制操作范围Ø采用Envoy内核安全规则热更新 云原生API网关–插件机制（灵活扩展） 核心优势 Ø借助WASM特性支持多语言扩展Ø提供在线IDE，AIGC生成插件，降低编写插件门槛Ø网关Wasm插件与开源Envoy 100%兼容，不存在锁定Ø提供插件市场，网关的二次扩展功能均通过插件提供给用户按需使用Ø插件采用热更新机制，在沙盒中执行，对网关自身稳定性无影响 流量网关最佳实践04 统一接入层 K8sIngress Ø支持ACK/ACS集群内服务的自动同步Ø支持多ACK/ACS集群复用一个网关实例Ø支持K8s Ingress / Gateway API规范Ø支持Nginx Ingress核心注解扩展Ø支持ACK One多K8s集群容灾 同城多活 方案优势 网域（CLB/NLB）层和网关服务层解耦，网域层具备逃逸机制 云原生API网关多可用区部署，对跨可用区的多个业务集群的请求实现高效负载均衡分配，单可用区集群故障时，科实现秒级故障转移。 一套注册中心，多可用区部署，可实现故障节点秒级自动剔除 接入微服务治理，可根据不同场景，在控制台上一键开启同可用区调用，支持设置节点数阀值，如可用区节点数超过50%时同可用区调用生效。 AI网关代理LLM最佳实践05 LLM生产项目中客户必然遇到的问题 4安全合规问题 1成本平衡问题 部署DeepSeekR1671B满血版模型，至少需要2台8卡H20机器，列表价年度超过100W，但2台的TPS有限，无法满足生产部署中多个用户的并发请求，需要有方案找到TPS和成本之间的平衡点 企业客户需要对问答过程做审计，确保合规，减少使用风险。 5模型服务高可用问题 2模型幻觉问题 自建平台性能达到瓶颈时需要有一个大模型兜底方案，提升客户大模型使用体验。 即使是671B的DSR1，如果没有联网搜索，依然有很严重的幻觉问题。 3多模型切换问题 6闭源模型QPS/Token限制问题 商业大模型都有基于APIKey维度的QPS/Token配额限制，需要一个好的方式能够做到快速扩展配额限制。 单一模型服务有较大的风险和局限性，比如稳定性风险，比如无法根据业务（消费者）选择最优模型。目前也没有开源组件和框架解决这类问题。 云原生AI网关代理LLMs方案的核心收益 解决用户管理失控问题 核心问题1：我以什么样的方式将LLM服务和能力暴露给大家呢？ 解法：OpenAIAPI的协议基本已经是标准协议，目前市场面上几乎所有的LLM都支持OpenAIAPI协议。所以提供遵循OpenAIAPI协议的HTTP接口就可以让企业员工通过各种方式使用LLM服务和能力。 核心问题2：企业内部部署DeepSeekR1满血版，公司好几千人，但GPU资源有限，如何限制用户？ 解法：AI接口一旦暴露出去，基本上不可能只让一小部分人知道，所以需要对访问LLM服务的用户做以限制，只让能访问的人访问，不能访问的人即便知道了接口也无法访问。 3 1 APIKey管理 消费者授权 创建消费者 Ø一个消费者可以生成多个APIKey。Ø根据不同的情况管理APIKey，比如新增或重置。 Ø一个消费者可以对应一个个人，也可以对应一个团队、一个组织等。Ø每个消费者会有对应的APIKey。 Ø给消费者分配可以访问哪些LLM服务