2026年AI原生应用开发实战营·深圳站分享材料

PPT模版主标题微软雅黑Bold 76磅副标题-微软雅黑40磅|内容描述内容描述内容描述 演 讲人演 讲人 AI原生应用开发最佳实践从企业级生产痛点到解决方案探索 阿里云高级架构师2 0 26/0 1/23洛 浩 阿里内部AI开放平台IdeaLAB 各行各业都在探索落地AI应用 内部提效✓AICoding：需求、产品设计、开发、测试全流程演进 ✓AIOps：运维关注度高，期望能辅助资源管理、快速定位系统问题（Infra or业务）并给住自愈方案，甚至自动化自愈✓内部工具：BI助手、内外小密、会议助手… ✓汽车出行：智驾训练、座舱推理（ASR、TTS、知识库）、市场营销（AIGC）、汽车设计（AIGC） ✓具身智能：大脑、小脑训练，部分云端推理（LLM、TTS等），AI玩具（类具身智能ASR+LLM+TTS+MCP）✓互娱游戏：搜索推荐、情感陪聊、AIGC-生图/视频/音乐、视频剪辑、智能客服（Chat、语音）、AI网剧✓教育：虚拟老师、作业批改、答题辅助、AI编程✓互联网-工具：基模公司-通用Agent、机器人外呼✓零售：智能选品、市场营销、AIGC-商品图合成/模特换装/辅助设计、智能客服✓泛企业：丰富的垂类Agent，如智能眼镜、智能音响、合同审核、商标查询、建筑报告…✓医疗健康、生物医药、法律咨询、物流… CONTENT目录 AI原生、Agent驱动了解现状，直面行业挑战，诞生AI原生应用架构和《AI原生应用白皮书》01 为AI而进化的基础设施AI网关、AI原生应用开发框架、上下文工程、AI工具、AI应用运行时、02 AI可观测、AI评估、AI安全案例场景与最佳实践 大规模生成使用的AI案例 AI原生应用白皮书背景 模型迈过拐点，AgenticAI爆发 行业报告 行业趋势 合增长率达44.8%；Gartner预计，到2028年，至少15%的日常工作决策将通过AI Agent自主完成。•《国务院关于深入实施“人工智能+”行动的意见》到2030年，智能体等应用普及率超90%。 •Google搜索指数，AIAgent过去16个月，1088%增长。 AI云原生应用架构定义 基于模型，Agent驱动，以数据为中心，整合工具链 AI Agent的核心组件 大脑，既大语言模型（LLM）➢作用：识别自然语言，然后进行推理并做出决策。 ➢原则：选择最合适的大语言模型。（不同的大语言模型有自己擅长的领域和业务场景） 记忆，知识库➢记忆：让Agent记得目标、偏好，以及过往的交互信息，从而实现多步骤执行，自省等能力 ➢知识库：存的是「知识片段」，能回答具体问题，但不是一个完整的操作流程 ➢系统提示词：定义Agent的目标和行为，为获得最佳推理结果而编写和组织LLM指令的方法 各类工具及能力（MCP Server、Skills、沙箱Sandbox、观测、评估评测）➢上下文：在LLM推理过程中，动态规划和维护最优的输入token集合 ➢作用：为Agent提供外部接口能力，如各类业务服务，数据库服务，存储服务等 ➢Skill是「操作手册」，告诉当前Agent遇到问题该按什么步骤来。Agent还是自己干活，只是有了指导。就像给新人一份SOP，他还是自己操作，但知道该怎么做了➢沙箱SandBox：提供安全隔离、自动弹性伸缩的、独立的扩展环境，如Code、Browser、ComputerUse、MobileUse等沙箱环境Memory记忆我记得之前发生了什么知识库我知道某个知识点 ➢作用：结合AgentFramework，使AIAgent主程运行起来 ➢原则：运行环境需要隔离、弹性 开发Agent时的挑战/痛点 模型和工具服务稳定性差 开发模式多样难以持续演进不同层次的开发者需要无代 企业数据安全和合规挑战 高性能安全执行环境难构建 效果评估和持续优化困难 码，低代码，高代码多种开发模式，同时期望能够持续演进，挑战高 境来运行代码、操作系统、调用工具，但自建成本高、性能差、安全隔离困难 务，但这些服务经常不稳定，缺乏统一的容错和治理机制 效果好坏，不知道如何优化，成本不透明逻辑等敏感信息，数据安全和合规成为企业应用的最大顾虑 AI应用架构落地难点 •智能体开发：全新的Agent开发技术栈，如何快速开发、部署与市场验证 的AI应用稳定、安全的运行 AI时代开发者关注业务创新而非基础设施 从AI原生应用架构，演进到AIAgent构建平台 AI全栈统一监控 基于Prometheus构建AI全栈监控大盘，包括模型性能分析、Token成本分析、GPU资源异动分析等 基于OpenTelemetry Trace实现用 户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。 构建统一日志分析平台，对模型调用 日志进行二次评估分析，实现质量、安全、意图提取等语义检测。 为AI而进化的基础设施从AI原生应用架构到Agent构建平台AgentRun ➢AI网关 ➢AgentFramework➢AI应用运行时➢AI工具➢上下文工程➢AI观测➢AI评估➢AI安全（应用、模型、数据、身份、基础设施安全） 每个企业都需要一个AI网关 AgentScope——阿里云官方开源Agent开发框架 AgentScope是阿里云官方的Agent框架 目前支持Python和Java两个开发语言：➢AgentScope-Python➢AgentScope-Java 品牌发展。•AgentScope-Java版本已追评Python版本的能力。国内依然有50-60%的Java开发者或Java系企业 AgentScope-Java性能优化，启动速度提升60% Graalvm：原版3.087秒，Native版本200毫秒Leyden：原版2.47秒，Leyden版本0.818秒 函数计算AgentRun，一站式AIAgent构建平台 AgentRun是以高代码为核心，开放生态、灵活组装的一站式AgenticAI基础设施平台，为企业级Agentic应用提供开发、部署与运维全生命周期管理。基于Serverless架构提供强隔离的运行时与沙箱环境，深度集成开源生态，为用户提供模型高可用和数据不出域能力。 函数计算AgentRun的四大优势 AI网关+AgentRun运行时内部大规模实践案例 AgentRun浏览器沙箱——舆情分析 AgentRunCode沙箱——AICoding Z.AIVibeCodingSandbox详细落地架构 函数计算模型服务——AI模型转化为Serverless API 开源模型一键部署，AI模型一键Serverless化，云端模型开发部署零门槛 FunModel——AI模型转化为Serverless API FunModel支持DevPod——云上大模型开发与微调环境 吉利汽车——AI让生活更美好 ➢随着AI浪潮的发展，吉利汽车在今年推出新一代AI智能化服务，成为核心竞争力之一，在吉利银河M9车型深度搭载。➢基于阿里云函数计算的Serverless GPU算力集群为AI座舱的交互和娱乐功能提 供大模型推理服务，共同打造大规模、高可用、高性能的推理引擎。➢场景涵盖意图解析、文生图、情感TTS等。尤其在语音交互方面，吉利自研超拟 人TTS，采用大量微调和训练，打造吉利汽车专属的逼真、富有情感、自然生动又稳定一致的语音交互体验。 AI工具——MCP/Skills 灵活集成、平滑演进；用户掌握技术选择主动权，避免供应商锁定 统一工具接口 •API统管工具调用，开发复杂度降低80%，集成时间从天缩短到分钟 •AI自动生成工具代码，无需手动开发即可满足基础业务需求 •AI驱动的工具推荐引擎，根据Agent任务自动匹配最佳工具组合 •海量工具一键集成，覆盖数据处理、API调用、文件操作等全场景需求 •开放式工具市场，支持自定义工具发布和分享，构建Agent工具生态闭环 上下文工程——企业知识库，记忆系统，上下文压缩与窗口管理 采用开源Mem0与Ragflow企业数据安全可控，不出域 一 个 典 型 的A I原 生 应 用 架 构 及 可 观 测 诉 求 基于ARMS构建Trace系统，实现用户终端、网关、模型 基于SLS构建统一日志分析平台，对模型调用日志进行二 基于Prometheus构建AI全栈监控大盘，包括模型性能分 应用、模型服务、外部依赖工具等全链路追踪。 析、Token成本分析、GPU资源异动分析等 次评估分析，实现质量、安全、意图提取等语义检测。 AI应用评估 基于Trace或日志中记录的大模型应用输入输出内容，通过LLM/Code/人工等方式对智能体进行在线和离线评估，持续提升Agent效果和质量 在线评估 Trace数据和模型调用日志对Agent质量、Rag效果、Tool调用效率等持续的做自动化评估。支持评估模型和代码两种方式。 支持从AgentRun运行时的Trace和日志 生成数据集，支持从数据集发起对Agent或者LLM的对比实验，清晰捕捉prompt模板变更、模型调整、tool使用等对于Agent的质量效果的影响，从而为Agent调优提供洞察 Agent数据飞轮——持续提升Agent使用效果 AgenticAI应用的开发•低代码白屏化脚手架 •高代码无框架绑定开发•版本的无损平滑升级 •全链路的数据标注•反馈数据收集 HiMarket——云原生开源AI开放平台，构建企业专属的AI市场 基于AI原生应用架构打造——AI驱动的全新应用平台 AI原生应用架构展望——AGI通向ASI 谢谢Thank You 函数计算AgentRun企业级一站式AI Agent基础设施平台 姚 翔(弑 魔) CONTENT目录 Agent开发痛点分析Agent开发痛点01 AgentRun介绍AgentRun的架构与功能介绍02 AgentRun具体的案例实践开发未来规划04 未来AgentRun的规划方向 Agent是基于大语言模型构建的智能体通过Prompt理解任务、自主推理规划、调用工具（MCP服务）、利用记忆完成从简单到复杂的各类任务。 开发Agent时的挑战/痛点 Agent依赖大模型和外部工具服务稳定性差 持续优化困难Agent运行是黑盒，无法评估涉及知识库、用户数据、业务逻 和合规挑战从Demo到生产需要处理大量基 成本高、门槛高 执行环境难构建Agent需要安全隔离的执行 环境来运行代码、操作系统、调用工具，但自建成本高、性能差、安全隔离困难。 服务，但这些服务经常不稳定，缺乏统一的容错和治理机制。效果好坏，不知道如何优化， 成本不透明。辑等敏感信息，数据安全和合规成为企业应用的最大顾虑。 础设施问题，成本高昂且不可控，小团队难以承受 强大的基础设施支撑高效开发 函数计算AgentRun：AgenticAI应用基础设施 函数计算为AgenticAI应用提供开箱即用的开发、部署与运维服务 Agent开发---开源开放、无框架锁定 高性能、高安全、开箱即用，提供生产级的执行环境和多租户安全保障企业级Runtime与安全隔离–Sandbox运行时 沙箱即服务 服务化：提供CodeInterpreterAPI、BrowserAPI 内置开发环境：Python/Node.js/Java/PHP/Shell/.NET等50+多 语言环境，支持OCI标准镜像和自定义运行时灵活扩展 智能体运行时 开源开放：与AgentScope、LangChain、LlamaIndex等主流开发框 毫秒级启动与按需付费：强隔离、突破性上下文保持，启动效率领先传统容器方案100倍，按需使用，按量付费，低峰缩0成本最优 会话管理—会话亲和&隔离 会话亲和MCP场景强诉求。依赖连续会话状态，需确保同一用户请求始终路由