AI网关：AI原生架构下的智能流量中枢

AI网关：AI原生架构下的智能流量中枢 赵炳堃（秉钧）｜阿里云智能云原生高级开发工程师 01AI网关的演进历程与核心特性 02HigressAI网关的落地实践 03HiMarketAI开放平台 04总结 AI网关的演进历程与核心特性 网关的演进历程 AI网关是伴随AI应用快速发展的必然产物 AI应用落地过程中的挑战 HigressAI网关的落地实践 AI网关LLMs代理 LLMs代理——基于Token的限流降级 LLMs代理——语义化缓存 LLMs代理——高可用实践 2.服务维度配置健康检查策略 ➢主动健康检查：➢主动发送请求（TCP/HTTPGET）➢被动健康检查：➢基于实际流量的请求成功率动态分析节点的健康状态 MCP的统一代理 RESTtoMCP：盘活存量资产 RESTtoMCP能力可以将企业现存的海量RESTAPI一键转换为MCPServer。只需要使用Higress提供的工具和API的Swagger文件，就可以一键生成协议转换配置。 MCPSSE状态会话负载均衡 您的MCP服务在K8s集群中部署了多个实例，Higress网关可以将实例的地址信息编码后嵌入到返回用户的Session ID中。用户再次持有此Session ID请求时会从ID中解析出地址信息，再次路由会该实例。从而保证了SSE会话的一致性 MCP优化与卸载 响应调优：让LLM理解API 基础调优(prependBody)问题:旧API返回{“succ”: true, “data”:{“p_name”:“...”,“p_id”: “...”}},LLM完全无法理解p_name和p_id的含义。解决:通过Higress配置自动在响应前追加注释 深度定制(Template DSL) 方案:使用Higress的模板DSL和gjson路径表达式,对响应体进行"重塑"。效果:通过Higress配置定义新结构,彻底丢弃原始的复杂JSON,转而返回一个LLM极易理解的清爽JSON。这不仅节省了Token,还从根本上杜绝了LLM的错误解读。 协议卸载：智能翻译官 问题：MCP生态存在两种传输协议:StreamableHTTP(无状态短连接)和SSE(有状态长连接)。这导致了客户端与服务端的"协议错配"。方案：网关可以把客户端的StreamableHTTP请求转换为SSE，让后端进行处理。价值：后端服务可以随意进行滚动更新、扩缩容,甚至实例重启,而客户端的连接完全不受影响。网关屏蔽了底层的复杂性,极大提升了系统的健壮性。 MCP的身份认证和权限管控 无权限控制(高风险) 在缺乏严格权限管控的环境中，AI Agent成为安全隐患的焦点。•恶意用户：发起提示词注入攻击，试图诱导AI执行非授权操作。•AI客服：部署时被赋予了所有可用的工具权限。结果：严重的安全事故和资损风险。 企业版精准控制(安全可控) Higress网关作为安全屏障，确保每个AI Agent只拥有完成任务所需的最小权限。 案例一：AI客服(消费者A) • read-order(可见)•refund-order(不可见)•delete-user(不可见)•view-analytics(不可见) 案例二：财务Agent (消费者B) • read-order(可见)•refund-order(可见)•delete-user(不可见)•view-analytics(不可见) 结果：从源头杜绝高危操作风险，实现最小权限原则。 MCP工具组装 MCP工具语义化检索 如果Agent的任务不固定，需要动态发现工具呢？ AI网关的安全体系 AI网关的可观测体系 企业为什么需要AI开放平台 私有MCP/Agent市场让企业在安全、可控、低成本的前提下规模化落地AIAgent 开源HiMarketAI开放平台 HiMarket整体架构 AI网关在AI原生架构中的位置 感 谢 聆 听 AI原生应用架构探索与实践 肖京｜AgentScopeJava版负责人，阿里云智能高级技术专家 正文要求：微软雅黑：最小字号8号宋体：最小字号10号等线：最小字号12号 肖京 阿里云智能高级技术专家 拥有十余年微服务领域深耕经验，Spring CloudAlibaba项目的发起人，阿里云微服务框架与治理团队负责人，在微服务架构设计、高可用系统建设等方面积累了深厚的技术积淀。主导了《微服务治理技术白皮书》和《AI原生应用架构白皮书》的编写工作。目前专注于SpringAIAlibaba和AgentScopeJava版本的研发工作，致力于构建面向AI原生应用的架构底座和中间件；同时深入探索AI原生应用架构的核心模式及最佳工程实践，推动Agent应用与云原生技术的深度融合。 01020304AI原生应用架构定义AI原生应用场景与难点AI原生应用中间件AI原生应用架构实践 AI原生应用初步成型 模型迈过拐点 Agent迈过炒作周期 •GPT横空出世以来，大模型ScalingLaw不断刷新智能边界。•DeepSeek进一步降低了模型的成本，效果/成本这个智价比进一步提升，AI应用更是加快了创新速度。 •从简单Agent，再到复杂工作流，再到Manus打开通用Agent的想象。•AI从以前工具升级成为了助手，AICoding、DeepResearch等场景开始爆发。•AIAgent迈过炒作周期峰值，进入生产大规模落地阶段。 AI原生应用新范式 AI原生应用架构定义 AI原生应用架构定义 AI原生应用场景与难点 AI原生应用难点与挑战 AI原生应用平台 构建以数据为中心的AI原生应用平台，解决效率和效果问题，构建AI企业级能力 Agent开发范式：低代码、高代码、零代码 零代码 高代码 低代码 提供底层编程接口，性能可控且灵活性强，能支撑复杂业务逻辑与系统集成，满足大规模生产要求 抽象层次过高，导致难以满足所有复杂业务场景的逻辑，灵活性受限。 生产可用性受制于大模型自身的能力。当前模型的稳定水平，还不能满足复杂业务场景对推理深度、上下文管理和可控性的高要求，因此难以承担生产任务。 底层引擎与管控通常部署在一起，这种架构限制了Agent的性能和可扩展性。 高代码 在智能自主性和可控确定性间取得平衡，确保系统行为可靠、结果可预测，兼顾效率与准确性。 高代码开发框架的演进 分布式Multi Agents系统 高可用与水平扩展 康威定律 系统架构是组织沟通结构的反映，团队划分方式决定了系统的模块边界。 分布式架构消除单点故障，支持按需弹性伸缩，支撑服务高可用。 AI原生应用架构 AI原生应用架构注册配置 分布式AI Agent架构 基于能力注册和发现，基于指标智能负载均衡 MCPRegistry&ToolsManagement Nacos3.1重磅发布-拥抱分布式Multi Agent架构 AI原生应用架构Nacos动态配置 1.通过Nacos获取Prompt配置，动态更新，支持Prompt版本管理，支持实时回滚。2.基于长期记忆智能填充模版中变量。3.支持MCP工具描述在线修改更新。4.支持配置加密，避免敏感信息明文写在代码中。 AI原生应用架构NacosA2A注册发现 •Agent可以通过AgentScope等框架在启动时自动注册到Nacos •AgentScope通过Agent名称自动发现AgentCard并发起调用。 •SupervisorAgent通过skills自动选择对应的RemoteAgent并生成可调用的SubAgent。 •支持从Session自动映射到TaskId并维护。 AI原生应用AI消息 •支持通过同步的编程模式，实现高性能的异步通信，通过分片的方式支持流式返回，开发者无需关注异步实现的细节。 •借助于消息的LiteTopic异步通讯，实现高性能通信，最大支持100M级别消息内容。 •将AI应用的状态自动保存在MQ中，开发者无需关注长连接维护，简化应用开发。 •历史上下文自动保存，便于状态共享和失败重试，在失败重试的过程中，能够自动读取checkpoint，从上一次的失败点进行重试。 AI原生应用AI消息 •Lite-Topic模型：专为短期、动态、海量个性化订阅场景（如AI Agent）设计。 •管理订阅(InterestSet)：以客户端为单位维护订阅关系，实现去中心化与最终一致性。 •优化拉取(ReadySet)：通过事件驱动告知客户端“何处有消息”，避免无效轮询。 •Pull模型+Push语义：将“盲目轮询”升级为“精准唤醒”，实现大规模个性化订阅场景下的高效低延迟的消息分发。 AI原生应用AI网关 AI原生应用全链路安全 入口可控、配置可信、内容可审的全链路安全 AI原生应用高可用治理 AI原生应用观测评估训练 感 谢 聆 听 从可观测到RL打造生产级可靠的长周期Agent 马云雷｜阿里云可观测高级技术专家 马云雷 阿里云-云原生可观测-高级技术专家 2012年毕业于上海交通大学，加入阿里云日志服务。13年可观测行业经验，先后参与日志采集、查询、计算、向量搜索、大模型可观测等多个模块的建设，从0到1参与可观测体系的建设。阿里云可观测日处理百PB级数据，秒级别查询百亿数据。目前专注于结合Data+AI，探索DataforAI和AIforData两个方向。基于多模态存储和检索解决AI的预训练和后训练场景的需求。在AIforData领域，基于agent的模式的nl2sql获得了98%的可执行率，在Agent的dev、ops上积累了实践经验，帮助打造更好的agent数据基座。 01AI-Native应用的典型架构和挑战 02Agent应用可观测 03Agent应用评估 04Agent从可观测到RL闭环 AI-Native应用的典型架构和挑战 AI-Native应用的分级图谱：从辅助到自治 L4:群体智能 L3:自动驾驶 L2:辅助驾驶 L1:信息增强 •产品形态：ChatBot/ RAG•核心定义：对话 •核心定义：执行•产品形态：Manus •核心定义：协作•产品形态：多Agent •产品形态：IDE插件/Copilot•核心定义：辅助 •能力描述：1.给个目标，AI搞定2.自主拆解复杂目标3.动态规划与工具链调用4.具备反思与纠错能力 •能力描述：1.AI团队，自我治理2.多角色分工动态3.像公司一样运作具备4.无需人类介入的闭环 •能力描述：1.人发指令，AI跑腿2.嵌入工作流3.调用单一工具无长期4.提供建议，人类做决策 •能力描述：1.能听懂，能回答2.基于检索增强(RAG)3.没有手和脚4.无长期记忆或状态 •人机关系：人主导•责任归属：100%人类 •人机关系：人提问•责任归属：100%人类 •人机关系：人监督•责任归属：人机共担 •人机关系：人定目标•责任归属：系统承担 戳破泡沫：Agent任务的真实成功率 从阵痛到掌控：Agent生产落地的挑战与对策 👑可靠性和可控性 可观测 •非确定性•幻觉与错误传播•鲁棒性差•提示词敏感•非预期环境•死循环•格式崩坏 •可调试(定位失败)•可审计(追溯安全)•可测量(优化成本) •概率模型•黑盒调试•难以复现•评估复杂 评估 •自动评估(判断好坏)•回归测试(防止退化) 💰成本和性能 •高昂成本•高延迟 🚀反馈 数据闭环(收集失败案例)强化训练(实现自我迭代) 安全与合规 阿里云AI全栈可观测解决方案 统一采集LLM可观测需要的日志、指标、Trace、Profiling数据 阿里云ARMS可观测提供自研探针（JavaAgent、Python、GO、eBPF等），覆盖RUM、APM、链路追踪、容器监控以及基础设施监控等，全面拥抱OpenTelemetry、Prom