企业级AI应用开发：从技术选型到生产落地

企业级AI应用开发：从技术选型到生产落地 墨飏（洪晓龙） 阿里云ServerlessAI团队 01企业级AI应用开发的真实面貌 Contents目录 02模型、工具和智能体生产实践 03总结 企业级AI应用开发的真实面貌 New Future on Cloud New Future on Cloud New Future on Cloud 01 应用架构演进 Serverless是应用架构演进的必然趋势，也是当前最有可能演进为AI Native Infra的技术架构 企业AI应用开发的真实面貌 智能体正成为企业应用开发新范式，生产级AI系统远不止表面的智能对话，90%工作在于底层的软件工程与基础设施 企业AI应用开发的真实需求 企业的生产实践发现，除弹性外，模型选型关注效率&可靠；工具选型关注简单&经济；智能体选型关注安全&可扩展。 智能体躯干 选型痛点：零代码、低代码、高代码？开发范式LLMAgent/FlowAgent/CodeAgent? 模型、工具和智能体生产实践 New Future on Cloud New Future on Cloud New Future on Cloud 02 模型服务–技术选型 模型服务有2种技术选型：模型服务商（如OpenAI、百炼等）、开源自建（Qwen、DeepSeek等） 初创公司 规模扩大 巨型企业 生产上量，核心业务自建&创新，PaaS是ROI最高的选择。 业务成熟，有专业团队，PaaS/IaaS自建是追求自主可控的必然选择。 PoC阶段，快速验证，SaaS/PaaS的开箱即用是最简单的选择。 函数计算FC–ServerlessAI运行时 函数计算FC提供PaaS（Serverless自建）方案，云上最快弹性、最小规格、最细计费粒度、自动3AZ高可用，ROI最高 冷启动速度：FC毫秒~秒级，虚机数分钟，容器30+秒~数分钟 最小规格：FC0.05C128MB，虚机1C512MB，容器0.25C512MB 模型服务–开箱即用 魔搭社区、HuggingFace热门模型一键部署，内置vLLM/SGLang/Ollama/Transformers推理框架，OpenAIAPI兼容 模型服务–开发提效 图像生成ComfyUI、StableDiffusion原生开发体验，专属开发空间，一键发布为企业级ServerlessAPI，易集成、易定制，TCO最高 模型服务–生产实践 Serverless xAI，函数计算FC帮助企业跨越技术鸿沟，让模型服务兼具SaaS体验和自建优势 大型企业灵活可定制，加速业务AI创新 设计师定制个人工作助手 初创公司智能家居领域的潮流引领 客户原声 客户原声 客户原声 客户原声 Stable Diffusion ComfyUI Qwen/DeepSeek CosyVoice MCP工具–技术选型 MCP是AI领域的USB-C接口，它统一了大模型和外部工具的交互规范，MCP已成为Agent工具生态的主流协议 关键技术决策点： MCP工具–MCPRuntime 函数计算FC提供MCPRuntime和弹性算力，支持STDIO零改造升级SSE、会话亲和、闲置计费、隐私变量、流量鉴权等能力 MCP工具-生产实践 函数计算FC联合魔搭社区发布最大MCP中文社区，联合百炼发布业界首个全生命周期MCP服务市场，将MCP沉淀为平台资产 Sandbox工具–技术选型 Agent痛点：行为不可预测、易受注入攻击、权限边界模糊，Agent需求：Runtime、Sandbox、Memory、Gateway、… Sandbox工具–技术选型 Code Sandbox：通过安全隔离的运行环境，执行大模型动态生成的代码，使得Agent具备灵活扩展的能力 CodeSandboxonFC优势 1.全栈语言支持&通用性：✅内置主流开发语言运行环境✅安全隔离地执行LLM/用户生成代码2.互联互通✅提供HTTPstream/代码仓库传入代码✅提供免费URL，请求直接调度到沙箱3.高并发隔离与资源保障✅实例完全独立，无资源争抢✅支持多线程/子任务并发4.超低时延场景优化能力✅行业经验：超低时延大规模RTA方案✅冷启动优化：毫秒级/秒级实时弹性 Sandbox工具–技术选型 BrowserUse：辅助大模型实现数据采集和联网搜索，使得Agent具备低成本获取实时信息的渠道 BrowserUseSandboxonFC优势 Sandbox工具–生产实践 函数计算FC为Qwen3-Coder提供弹性RLSandbox服务，助力其成为迄今为止最具代理能力的代码模型 RLSandbox Qwen3-Coder 函数计算FC为百炼智能体/工作流提供官方CodeInterpreter、脚本转换等服务 函数计算FC为Qwen3-Coder提供超大规模弹性Code RL训练 ChatAgent–生产实践 要解决三个核心问题：环境依赖包不确定性问题；文件信息路径不确定性问题；解决会话（Session）请求亲和&隔离的问题 FlowAgent–生产实践 SAE提供Dify社区版/商业版托管服务，开箱即用，简单经济，通过灰度发布即可实现Dify版本升级 简单易用 终端用户——浏览器/APP/小程序 •3分钟创建Dify应用•默认集监控日志能力•底层资源按需弹缩 高可用 •默认支持智能化可用区，支持指定三AZ•默认支持负载均衡与健康检查联动，提供无损上下线 成本经济 •按需按量付费•支持多种规格资源，并提供闲时计量模式，夜间成本更低 持续迭代 •Dify版本更新快，SAE默认具备灰度发布能力•AI应用监控提供Trace能力，结合日志查询，问题定位更加迅速 FlowAgent–生产实践 函数计算FC提供兼容Dify的可视化工作流开发体验，采用自研工作流执行引擎，10倍提升Agent运行效率 兼容Dify ✓兼容业内流行Agent平台Dify的UI体验 ✓兼容DifyDSL标准，存量迁移无负担 自研引擎 ✓对比Dify托管版，性能和吞吐提升10+倍 ✓灵活定制，LLM/工具/节点均支持使用云上自建服务如FC 生态集成 ✓无缝打通阿里云100+云产品，支持VPC互联互通✓支持事件驱动，可由云产品事件触发工作流执行 CodeAgent–生产实践 函数计算FC作为计算资源提供细粒度、高弹性、强安全的AI Agent运行环境 两种类型 运行在函数计算FC上的AIAgent有两类： ➢用户自行编写的，自研的AIAgent。或者如使用SpringAIAlibaba、LangChain、LlamaIndex等开发Agent的综合框架。➢在FunctionAI平台上，已经托管了一些现成的AIAgent组件，比如OpenManus，Jmanus，ComfyUI，SDWebUI等。 优势和特点 ➢函数计算FC触发器机制，实现AIAgent可灵活被调度。➢函数计算FC按请求扩缩，提升AIAgent资源利用率，降低资源成本。➢函数计算FC动态挂载存储机制，提升AIAgent业务逻辑灵活性。➢函数计算FC函数实例动态安装依赖包，提升AIAgent业务形态多样性。➢函数计算FC和多个云上产品做好了集成，降低运维成本。 总结 New Future on Cloud New Future on Cloud New Future on Cloud 03 阿里云ServerlessAI全景图 函数计算FC联动阿里云ServerlessxAI产品生态，提供简单、经济、弹性的企业级AI应用基础设施 ServerlessxAI让应用开发更简单 Gartner魔力象限领导者，Forrester全球领导者象限（亚太唯一，3次蝉联），AI应用开发能力获满分 THANKS 基于FunctionAI分钟级构建生产级AI应用 ——Serverless+AI让应用开发更简单 肯梦(陈涛） 云原生-产品经理 01AI应用开发的挑战 Contents目录 02FunctionAI开发平台介绍 03FunctionAI应用开发场景 应用抽象发生变化 研发的关注点发生变化 Serverless在解决什么问题？ 目标和策略 成本目标 •简单，易用，减少发布/扩容时间，提升发布/扩容的效率 •按需付费，降低用户成本，提供产品竞争力 •通过不断的优化资源供给能力：降低用户保有资源的成本，提高资源利用率，降低资源使用成本； •通过不断的加强和云产品及周边生态的集成，降低用户业务构建的门槛，减少业务发布和扩容运维时间，提升业务效率； •平台及体验能力升级：云服务集成，事件驱动，函数编排，应用模版，计费优化，观测能力集成 01AI应用开发的挑战 Contents目录 02FunctionAI开发平台介绍 03FunctionAI应用开发场景 FunctionAI：Serverless + AI让应用开发更简单 FunctionAI：聚焦AI应用运行时 LLM和现实世界的结合 FunctionAI：为AI应用开发提效 无缝升级AI应用开发范式 AgentFlow：高性能的Agent流程开发平台 模型托管：Serverless GPU让模型服务更普惠 模型托管服务提供GPU资源的按需和极速模式，在保留用户原有长持预留GPU的使用形态下，通过区分GPU实例的忙闲时刻，闲时定价大幅低于忙时定价，帮助客户大幅降低AI落地成本，同时保证模型冷启动推理耗时。 产品价值 模型来源 新兴的大模型推理场景 传统的在线推理场景 应用场景 AIGC浪潮下的新兴推理应用，LLM文生文、Stable Diffusion文生图、FunASR文生音频等 延时高度变化，负载高度不确定，偏C端的应用形态，日均资源利用率普遍较低；例如：传统的CV类模型（OCR）、NLP模型（机器翻译） 插件广场：加速智能体应用集成 MCP为LLM连接数据源和工具提供了标准化的方法 •内置MCPProxy，存量STDIO无改造直接生成SSE/StreamableHTTP服务，且具备单实例多并发能力•发布MCP会话亲和性调度，保证相同sessionID会话绑定到相同实例，具备会话配额控制保证单实例会话公平、MCP会话优雅升级•发布长连接闲置计费，最高降低87%成本•提供模板一键部署、自定义MCP服务，满足开源托管以及二次开发需求•提供隐私变量管理、服务鉴权、内网访问能力，本地STDIO协议无需改造即可提供安全的企业级服务 01AI应用开发的挑战 Contents目录 02FunctionAI开发平台介绍 03FunctionAI应用开发场景 AgentFlow行业案例：社区内容审查 挑战 客户Z作为中国最大的问答社区之一，每天面临海量内容审核需求，传统人工审核方式效率低下，难以应对突发流量。 解决方案 基于AIstudio工作流引擎构建LLM内容审查系统，采用多级审核流程： •第一级：基于规则的快速过滤•第二级：LLM语义理解和上下文分析•第三级：人工确认和反馈学习 技术亮点 •利用AIstudio高吞吐特性，支持1000QPS的内容审核需求•沙箱环境确保敏感内容处理安全性•弹性伸缩应对突发流量，降低资源成本 图像生成行业案例：AIGC风格生产化 客户端生图 AIGC生图中台（首次调试） 1.用户拍照或上传头像 1.启动ComfyUI工作空间 2.调试工作流、添加插件、模型,实现人像抠脸+风格化处理。（人像抠脸如用工作流实现不够精细，可结合阿里云人脸检测与五官定位模型进行前序处理） 2.客户端调用API进行图片风格化处理 机器人端接收图像，通过与亚毫米精度工业机械臂等设备的协作，xbot机器人能够实现像素级还原，打印出咖