AI 应用发展趋势
AI 应用正从数据分析的辅助工具转变为业务流程和应用的核心驱动力。随着数据量和 AI 工作负载的爆炸式增长,成本控制和资源优化成为企业选择平台的关键因素。无服务器和按量付费模式将成为主流,同时平台将提供更精细的成本管理和优化工具。Data+AI 能力的普及化,通过自然语言交互、无代码/低代码工具等方式,将数据洞察和 AI 能力赋能给更广泛的非技术业务用户。可观测性成为核心竞争力,随着现代系统复杂性的不断增加,高效且经济地处理海量日志、指标和追踪数据变得至关重要。
AI Agent 的概念和核心组件
AI Agent 是下一代应用的核心驱动力,它是一个系统,包括使用大语言模型(LLM)进行推理、可以通过工具执行各类行动,以及执行思考(Think)-> 执行(Action)-> 自省(Observe)-> 纠错(既重复思考到自省的持续改进)这样一个循环。AI Agent 的核心组件包括:
- 大脑(LLM):识别自然语言,然后进行推理并做出决策。
- 记忆:存储服务(NoSQL或向量数据库实现),让 Agent 记得目标、偏好,以及过往的交互信息,从而实现多步骤执行,自省等能力。
- 手(各类工具):为 Agent 提供外部能力,各类业务服务,数据库服务,存储服务等等,执行 LLM 做出的决策。
- 指令(系统提示词或上下文工程):定义 Agent 的目标和行为。
AI Agent 的构建模式和类型
AI Agent 的构建模式分为编码式和低代码式,类型包括:
- 编码式:Manual Coding、LangChain、Spring AI、Alibaba、LangGraph、OpenAI Agents SDK、Vertex AI Agents、Crew AI、Pydantic AI。
- 低代码式:阿里云FunStudio、阿里云百炼、Dify、N8N。
- LLM 辅助基模:这类 AI Agent 不直接对用户透出,而是辅助现存业务的 AI Agent。
- 独立产品的 AI Agent:这类 AI Agent 大都还是基于主流的 Chat 模式,帮用户解答问题,规划任务等。
AI Agent 应用落地实践
- 义乌小商品城“世界义乌”APP:找商找品、AI 玩具&电商换背景。
- Dify:开源 Agent/AI 工作流,但社区版缺少隔离能力,是个单租模型,存在流量防护弱、数据源存储格式单一、推理服务需要大量计算资源、缺乏多租隔离能力、版本升级困难等问题。
- DifyonSAE:针对社区 Dify 优化提升 10 倍性能,提供终端用户、网关、拖拽式编排、简单易用、高可用、成本经济、持续迭代等优势。
- Function AI:FunStudio 阿里云自研高性能低代码 Agent 平台,AIStudio 提供类似 Dify 的可视化 Agent 构建平台,同时采用自研工作流执行引擎,实际运行 QPS > 1000。
- SpringAIAlibaba:JAVA 开源高代码 Agent 开发框架,支持 Dify 低代码 DSL 一键转成 SAA 高代码工程方案,性能提升 10 倍,满帮和极氪基于此开发生产级业务 Agent。
MCP Server 和 AI 网关
- MCP Server:模型上下文协议(Model Context Protocol)是一个开源协议,旨在让大型语言模型(LLM)能够以标准化的方式连接到外部数据源和工具,就像 AI 应用的通用接口。
- AI 网关:AI 网关是 AI 应用开发门户,为 AI 应用开发提效,提供模型服务、图像生成、MCP 服务、应用开发应用市场、AI 运行时、海量 Serverless AI 应用模板等功能。
AI 网关落地实践
- 解决同一域名/API 访问不同模型的问题:使用同一个 API 接口,不同业务通过请求中的模型名称或业务标识,切换不同的模型。
- 解决用户管理失控问题:创建消费者,给消费者分配可以访问哪些 LLM 服务接口,APIKey 管理。
- 解决百炼 DS R1 QPM/Token 限制的问题:模型服务支持多 APIKey,APIKey 可实时维护,AIAPI 维度结果缓存。
- 解决模型服务高可用的问题:维护多个模型服务,开启 AIAPI 限流策略和 Fallback 策略。
- 解决安全合规的问题:AI 网关中的 AIAPI 集成了阿里云的内容安全防护和 AI 安全护栏服务。
- 解决联网搜索解决大模型不满血的问题:支持夸克联网搜索,搜索结果自动融合,问题意图识别。
- 建设企业内部的 MCP Marketplace:通过 AI 网关(with MCP),为 AI Agent 调用工具,提供统一的接入点和管理界面,支持对接各类内外部 API 和运行时。
- AI Agent 的鉴权、观测:通过 AI 网关的 Agent API,统一代理 Agent,实现 Agent 对外的二次鉴权,并完成观测、限流、fallback 和安全防护等治理动作。
- AI 网关 RAG 能力:支持配置化打通外部 RAG 引擎,包括 RagFlow、百炼知识库,在调用 LLM 前进行自动 RAG 检索和信息整合。
AI 应用架构新范式
- AI 网关:AI 网关是 AI 应用开发门户,为 AI 应用开发提效,提供模型服务、图像生成、MCP 服务、应用开发应用市场、AI 运行时、海量 Serverless AI 应用模板等功能。
- AI 应用架构:AI 应用架构新范式以数据为中心,整合工具链,包括 AI 网关、MSENacos、AIStudio、FC 等。
AI 应用观测实践
- AI 应用观测实践:AI 应用观测实践包括 AI 网关可观测、大模型应用可观测、智算基础设施可观测、大模型可观测等。
- 云监控 2.0:云监控 2.0 是全栈智能可观测平台,提供统一采集接入、统一可观测模型、统一可观测平台、能力共享、统一接入、统一存储、统一可视化等功能。