AI 原生应用开发最佳实践

AI原生应用开发最佳实践从企业级生产痛点到解决方案探索 阿里云高级架构师2026/01/13洛 浩 阿里内部AI开放平台IdeaLAB 各行各业都在探索落地AI应用 内部提效üAICoding：需求、产品设计、开发、测试全流程演进 üAIOps：运维关注度高，期望能辅助资源管理、快速定位系统问题（Infra or业务）并给住自愈方案，甚至自动化自愈ü内部工具：BI助手、内外小密、会议助手… ü汽车出行：智驾训练、座舱推理（ASR、TTS、知识库）、市场营销（AIGC）、汽车设计（AIGC） ü具身智能：大脑、小脑训练，部分云端推理（LLM、TTS等），AI玩具（类具身智能ASR+LLM+TTS+MCP）ü互娱游戏：搜索推荐、情感陪聊、AIGC-生图/视频/音乐、视频剪辑、智能客服（Chat、语音）、AI网剧ü教育：虚拟老师、作业批改、答题辅助、AI编程ü互联网-工具：基模公司-通用Agent、机器人外呼ü零售：智能选品、市场营销、AIGC-商品图合成/模特换装/辅助设计、智能客服ü泛企业：丰富的垂类Agent，如智能眼镜、智能音响、合同审核、商标查询、建筑报告…ü医疗健康、生物医药、法律咨询、物流… CONTENT目录 AI原生、Agent驱动了解现状，直面行业挑战，诞生AI原生应用架构和《AI原生应用白皮书》01 为AI而进化的基础设施AI网关、AI原生应用开发框架、上下文工程、AI工具、AI应用运行时、 AI可观测、AI评估、AI安全案例场景与最佳实践 大规模生成使用的AI案例 开放性讨论 AI原生应用白皮书背景 模型迈过拐点，AgenticAI爆发 行业报告 行业趋势 合增长率达44.8%；Gartner预计，到2028年，至少15%的日常工作决策将通过AI Agent自主完成。•《国务院关于深入实施“人工智能+”行动的意见》到2030年，智能体等应用普及率超90%。 •Google搜索指数，AIAgent过去16个月，1088%增长。 AI云原生应用架构定义 基于模型，Agent驱动，以数据为中心，整合工具链 AI Agent的核心组件 大脑，既大语言模型（LLM）Ø作用：识别自然语言，然后进行推理并做出决策。 Ø原则：选择最合适的大语言模型。（不同的大语言模型有自己擅长的领域和业务场景） 记忆，知识库Ø记忆：让Agent记得目标、偏好，以及过往的交互信息，从而实现多步骤执行，自省等能力 Ø知识库：存的是「知识片段」，能回答具体问题，但不是一个完整的操作流程 Ø系统提示词：定义Agent的目标和行为，为获得最佳推理结果而编写和组织LLM指令的方法 各类工具及能力（MCP Server、Skills、沙箱Sandbox、观测、评估评测）Ø上下文：在LLM推理过程中，动态规划和维护最优的输入token集合 Ø作用：为Agent提供外部接口能力，如各类业务服务，数据库服务，存储服务等 ØSkill是「操作手册」，告诉当前Agent遇到问题该按什么步骤来。Agent还是自己干活，只是有了指导。就像给新人一份SOP，他还是自己操作，但知道该怎么做了Ø沙箱SandBox：提供安全隔离、自动弹性伸缩的、独立的扩展环境，如Code、Browser、ComputerUse、MobileUse等沙箱环境Memory记忆我记得之前发生了什么知识库我知道某个知识点 Ø作用：结合AgentFramework，使AIAgent主程运行起来 Ø原则：运行环境需要隔离、弹性 开发Agent时的挑战/痛点 模型和工具服务稳定性差 执行环境难构建 码，低代码，高代码多种开发模式，同时期望能够持续演进，挑战高 境来运行代码、操作系统、调用工具，但自建成本高、性能差、安全隔离困难 务，但这些服务经常不稳定，缺乏统一的容错和治理机制 应用架构演进趋势 AI应用架构落地难点 •智能体开发：全新的Agent开发技术栈，如何快速开发、部署与市场验证 的AI应用稳定、安全的运行 AI时代开发者关注业务创新而非基础设施 从AI原生应用架构，演进到AIAgent构建平台 AI全栈统一监控 基于Prometheus构建AI全栈监控大盘，包括模型性能分析、Token成本分析、GPU资源异动分析等 基于OpenTelemetry Trace实现用 户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。 构建统一日志分析平台，对模型调用 日志进行二次评估分析，实现质量、安全、意图提取等语义检测。 为AI而进化的基础设施从AI原生应用架构到Agent构建平台AgentRun ØAI网关 ØAgentFrameworkØAI应用运行时ØAI工具Ø上下文工程ØAI观测ØAI评估ØAI安全（应用、模型、数据、身份、基础设施安全） 每个企业都需要一个AI网关 Dify——开源Agent/AI工作流 社区Dify很难满足生产环境 数据源存储格式单一推理服务需要大量计算资源，资源分 流量防护弱 管控与数据链路耦合AI应用设计与智能体的执行耦合，高 配不均会导致性能瓶颈。 并发无法保证稳定性，QPS不到50 无任何防护措施，很容易被穿透 需要重新部署。 是个单租模型。 DifyonSAE——针对社区Dify优化提升10倍性能 简单易用 •5分钟创建Dify应用•默认集监控日志能力•底层资源按需弹缩 持指定三AZ•默认支持负载均衡与健康检查联动，提供无损上下线成本经济 •性能调优，支持500QPS •支持多种规格资源，并提供闲时计量模式，夜间成本更低持续迭代 •Dify版本更新快，SAE支持 原地版本升级能力*•AI应用监控提供Trace能力，结合日志查询，问题定位更加 AgentScope——阿里云官方开源Agent开发框架 AgentScope是阿里云官方的Agent框架 目前支持Python和Java两个开发语言：ØAgentScope-PythonØAgentScope-Java 品牌发展。•AgentScope-Java版本已追评Python版本的能力。国内依然有50-60%的Java开发者或Java系企业 AgentScope-Java性能优化，启动速度提升60% Graalvm：原版3.087秒，Native版本200毫秒Leyden：原版2.47秒，Leyden版本0.818秒 函数计算AgentRun，一站式AIAgent构建平台 AgentRun是以高代码为核心，开放生态、灵活组装的一站式Agentic AI基础设施平台，为企业级Agentic应用提供开发、部署与运维全生命周期管理。基于Serverless架构提供强隔离的运行时与沙箱环境，深度集成开源生态，为用户提供模型高可用和数据不出域能力。 函数计算AgentRun的四大优势 AI网关+AgentRun运行时内部大规模实践案例 函数计算AgentRun——Serverless智能体和沙箱运行时 函数&会话规模 毫秒级 Serverless弹性效率 AgentRun——沙箱实例支持存储动态挂载，保障存储安全 Serverless AI解决方案Ø引入会话粒度度存储粘性，将会话和一个持久化的、归属特定租户的存储子 传统共享存储问题（虚机/容器)K8s集群的容器实例在挂载存储时，是多租户数据共享模型，而大模型 目录进行强绑定，在Sandbox运行的时候动态把目录挂载到实例。Ø平台基于POSIX标准多租存储安全实践框架，落地层次化纵深防御体系 生成的代码具有不可预知性，访问共享存储会有安全问题。 AgentRun浏览器沙箱——舆情分析 AgentRunCode沙箱——AICoding 通用型Agent——智谱Z.AIAgent Z.AIVibeCodingSandbox详细落地架构 函数计算模型服务——AI模型转化为Serverless API 开源模型一键部署，AI模型一键Serverless化，云端模型开发部署零门槛 模型服务享受PaaS自由度的同时获得SaaS便捷性，按调用量付费，模型部署成本降低90% FunModel——AI模型转化为Serverless API FunModel支持DevPod——云上大模型开发与微调环境 吉利汽车——AI让生活更美好 Ø随着AI浪潮的发展，吉利汽车在今年推出新一代AI智能化服务，成为核心竞争力之一，在吉利银河M9车型深度搭载。Ø基于阿里云函数计算的Serverless GPU算力集群为AI座舱的交互和娱乐功能提供大模型推理服务，共同打造大规模、高可用、高性能的推理引擎。Ø场景涵盖意图解析、文生图、情感TTS等。尤其在语音交互方面，吉利自研超拟人TTS，采用大量微调和训练，打造吉利汽车专属的逼真、富有情感、自然生动又稳定一致的语音交互体验。 函数计算FunArt——从场景出发的AIGC创作平台 提供开箱即用的云端ComfyUI，Stable Diffusion工 具，解决部署安装复杂，及本地环境显存限制问题。 提供Muse LoRa，Kohya Lora等多种LoRA训练 器，解决从数据集打标到模型训练的全过程。 高性价比的GPU弹性算力；支持一键将ComfyUI工作流、Stable Diffusion发布为API，实现资源独享， 自动弹性扩容，内置队列，支持异步调用 影视行业AIGC创意广告 义乌小商品城“世界义乌”APP——AI玩具&电商换背景 AI工具——MCP/Skills 灵活集成、平滑演进；用户掌握技术选择主动权，避免供应商锁定 统一工具接口 •API统管工具调用，开发复杂度降低80%，集成时间从天缩短到分钟 •AI自动生成工具代码，无需手动开发即可满足基础业务需求 •AI驱动的工具推荐引擎，根据Agent任务自动匹配最佳工具组合 •海量工具一键集成，覆盖数据处理、API调用、文件操作等全场景需求 •开放式工具市场，支持自定义工具发布和分享，构建Agent工具生态闭环 上下文工程——企业知识库，记忆系统，上下文压缩与窗口管理 一 个 典 型 的A I原 生 应 用 架 构 及 可 观 测 诉 求 基于SLS构建统一日志分析平台，对模型调用日志进行二 基于ARMS构建Trace系统，实现用户终端、网关、模型 基于Prometheus构建AI全栈监控大盘，包括模型性能分 次评估分析，实现质量、安全、意图提取等语义检测。 析、Token成本分析、GPU资源异动分析等 应用、模型服务、外部依赖工具等全链路追踪。 AI应用评估 基于Trace或日志中记录的大模型应用输入输出内容，通过LLM/Code/人工等方式对智能体进行在线和离线评估，持续提升Agent效果和质量 在线评估 Trace数据和模型调用日志对Agent质量、Rag效果、Tool调用效率等持续的做自动化评估。支持评估模型和代码两种方式。 支持从AgentRun运行时的Trace和 日志生成数据集，支持从数据集发起对Agent或者LLM的对比实验，清晰捕捉prompt模板变更、模型调整、tool使用等对于Agent的质量效果的影响，从而为Agent调优提供洞察 Agent数据飞轮——持续提升Agent使用效果 HiMarket——云原生开源AI开放平台，构建企业专属的AI市场 基于AI原生应用架构打造——AI驱动的全新应用平台 AI原生应用架构落地实践——从原子能力演进到Agent构建平台 AI原生应用架构展望——AGI通向ASI 谢谢Thank You 【附录】函数计算AgentRun竞品分析 高代码为主，无代码和工作流编排为辅Serverless底座，Agentic应用全生命周期管理 【附录】函数计算AgentRun竞品分析 函数计算AgentRun企业级一站式AI Agent基础设施平台 阿里云产品经理2026/1