释放算力潜能加速应用构建Serverless 为 AI 创新提速

赵庆杰阿里云Serverless基础架构团队负责人 2023年12月1日 01AI应用的发展趋势以及面临挑战 02Serverless技术加速AI应用的构建 03ServerlessAI应用案例 AI应用场景极速增长 百花齐鸣的AI应用市场竞争下，“迭代速度”成为关键因素之一 AI技术概览 AI应用面临的挑战 AI计算开发者领域 •AI应用的构建复杂，且需要多环境部署支持，需要与非AI应用集成•随着AI应用功能逐渐丰富，调用链路长极大影响问题的快速发现•AI应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等•网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等 AI计算力面临的挑战 •GPU资源紧缺且成本高，需要持续保有购买•卡型不统一导致算力不统一，进而影响应用层架构•随着计算规模的提升，容错能力也越来越重要•大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高 经常听到的问题？ Serverless AI应用解决方案 不同角色，在AI场景下的诉求 工程相关 负责AI应用平台建设和管理 •工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；•往往和实验室/公司内的设备有强关联，需要有安全保障等； 算法相关 负责AI模型开发调试 •算法能力比较强，希望有一个好用的AI模型管理平台；•希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的环境等； 接口相关 通过API等对接口进行工程化封装 如何方便快捷部署使用 •工程能力比较强，更希望有一些项目案例等，可以帮助业务快速的发布和上线；•有完整的应用开发、调试、发布流程等； Serverless开发平台AI场景 函数计算提供构建现代化高可用AI应用的简化路径，是AI应用的最佳实践 上手简单，降本提效 •三步上手最佳实践，一键模型托管，上手门槛降低80%；•快速弹性CPU+GPU实例赋能AI应用降本提效； 拥抱开源，开放生态 •ModelScope，HuggingFace开源生态联动；•LangChain等AI开源框架与阿里云产品高集成； 最佳实践，心智强化 •10+应用场景，50+应用案例，一键部署，快速体验；•覆盖2W+AI应用开发者，打造阿里云函数计算AI第一心智； Serverless GPU–按请求付费 Serverless GPU虚拟化技术 Serverless GPU两级资源池 •算力强隔离，显存强隔离•故障强隔离•GPU兼容原生应用 •热资源池：避免Node级别ScaleOut引起的分钟级别冷启动。•资源供给：FCGPU/IaaSGPU两级资源池共同保证GPU资源供给。•使用成本：FCGPU资源池平台持有，用户只为真实使用付费。 热资源池，实时弹性，平台持有，用户低成本 Serverless GPU–按请求付费 免费额度：函数计算为首次开通服务的用户提供免费试用额度： •GPU试用额度：前100万GB*秒GPU资源使用免费。•注意：免费额度不包含公网出流量。领取后3个月有效期。 GB级镜像实例秒级启动 顶会论文•UsenixATC2020:DADI Block-Level Image Service for Agile and Elastic Application Deployment AI应用的集成：一键部署AI应用 函数计算AI开发模式 HuggingFace/ModelScope Serverless AI应用案例 Serverless函数计算GPU应用场景选型指南（针对推理） Serverless应用中心一键部署SD应用 Serverless应用中心一键部署知识库应用 专属StableDiffusion环境 大语言模型知识库应用 StableDiffusionWEB UI Serverless函数计算平台 Serverless函数计算平台 AIGC应用场景 如何快速体验、快速上手如何方便快捷的部署使用 应用中心一键部署GPU资源免维护 秒级弹性大规模GPU集群 按量付费降本提效 人人都可以拥有自己“专属”的AIGC环境 优秀的开发者体验 提效降本的现代应用心智 快速弹性的CPU + GPU实例 完备的开发者套件 高效能低成本进行AI应用的开发与部署是无数AI开发者/企业的重要关注点，Serverless架构凭借高资源利用率与按量付费模式，以及服务端免运维的开发者心智，成为一众AI开发者/企业的首选； AI应用一键部署，快速上手；AI应用一键多环境划分，标准GitOPS流程；ModelScope一键托管；AIPlugin一键发布到通义千问；阿里云函数计算与应用中心，具备与生态连通，与开源结合，快速上手、一键部署的完整通路，优秀的开发者体验。 GPU实例是AI领域不可或缺的计算资源，在高昂的成本下，可弹性，且可快速弹性的GPU实力成为AI应用不可获取的部分。阿里云函数计算拥有快速弹性的GPU实例，以及大规格的函数计算性能实例，这部分是承载AI应用稳定、高性能推理的重要环节。 完备的开发者套件，是开发者将AI应用部署到云原生架构必不可少的一环，在这一部分，阿里云Serverless架构拥有ServerlessDevs，应用中心等完备的开发者套件，可以帮助开发者从0到1再到N，将业务Serverless化，并提供全生命周期管理能力。 Stable Diffusion与平台集成实践方案 企业级内部设计平台使用 ServerlessWebUI-方案优势解析 服饰穿搭实践 大语言模型知识库应用场景 医疗领域问答 智能客户聊天 社区自动问答 如RocketMQ开源知识社区，专门针对RocketMQ领域的知识问答及代码示例；如游戏社区使用游戏的信息（例如游戏介绍，游戏攻略等）构建社区知识库，自动回复社区成员提供的问题； 如罕见病专业知识回复，有限医疗资源情况下进行自助服务；如中医知识问答，针对海量的中医知识进行归纳汇总，解答病患问题；儿童保健及护理，儿童常见病咨询，营养咨询等 如企业客服，通过与呼叫中心/聊天机器人服务结合，可自动基于企业知识库就客户提出的问题进行聊天回复； 电商平台搜索问答 IT/HR系统智能问答 智能教育辅导 如使用企业内部IT/HR使用手册构建企业知识库，企业内部员工可通过该知识库快速解决在IT/HR上遇到的问题。 如使用教材和题库构建不同教育阶段的知识库，模拟和辅助老师/家长对孩子进行教学。 如使用商品信息搜索，使用商品信息构建商品数据库，消费者可通过检索+问答的方式快速了解商品的详细信息；如特定商品检索，如节日礼物，周年庆，亲情礼品等，根据特定信息进行定制检索，快速触达用户 大语言模型知识库的基本原理 基本流程 私 域 数 据 向 量 化将非结构 化内容 进行 向 量 处 理0 1 输 入 提 示 词 预 埋0 2 将用户的输 入问 题 ，跟 系统 问答的预 埋提示 词 整 合 作 为大 模 型输 入 大 模 型 结 果 输 出 解 构 化03 对 大 模 型输 入的内容 进行 结构 化输 出 技术细节 l1.LLMl2.embeddingl3.controlledtextgeneration 函数计算产品—基于云原生大模型智能问答实践 用户身边0成本的“高级技术专家”，致力于提升云原生产品使用体验、降低云原生应用生产门槛 资源生成｜面向容器，生成云原生资源配置 利用大模型技术实现云原生资源配置的交互式创建、修改与应用等，提升资源维管效率 应用构建｜面向中间件，构建云原生业务应用 面向云原生中间件产品，实现云原生动态脚手架应用快速构建，降低业务应用构建门槛 面向云原生打造云原生知识大脑 故障诊断｜面向应用，整合全栈故障诊断能力 知识问答｜领域知识专家 集成云原生已有的系统诊断能力，面向业务应用构建具备全栈技术能力的辅助诊断助手 整体系统架构 云原生大模型践行可扩展架构设计，便于更多的云原生产品因大模型技术而受益 知识大脑 函数创建 监控运维 通过云原生大模型对话式唤起现有Serverless监控面板，面向应用整合常见Ops操作