阿里云-赵庆杰-Serverless 技术加速 AI 应用构建

Serverless技术加速AI应用构建 赵庆杰（卢令）Serverless基础架构团队负责人2023年12月15日 讲师简介 目前就职于阿里云云原生Serverless团队，专注于Serverless、PaaS，分布式系统架构等方向，致力于打造新一代的Serverless技术平台，把平台技术做到更加普惠。曾就职于百度，负责内部最大的PaaS平台，承接了80%的在线业务，在PaaS方向，后端分布式系统架构等领域有丰富的经验” 赵庆杰阿里云Serverless产品基础架构团队负责人 目录 01AI应用的发展趋势以及面临挑战 02Serverless技术加速AI应用的构建 03ServerlessAI成果展示 AI应用稳步增长 AI技术概览 AI应用面临的挑战 •AI应用的构建复杂，且需要多环境部署支持，需要与非AI应用集成•随着AI应用功能逐渐丰富，调用链路长极大影响问题的快速发现•AI应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等•网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等 AI计算力面临的挑战 •GPU资源紧缺且成本高，需要持续保有购买•卡型不统一导致算力不统一，进而影响应用层架构•随着计算规模的提升，容错能力也越来越重要•大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高 经常听到的问题？ 不同角色，在AI场景下的诉求 负责AI应用平台建设和管理 工程相关 •工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；•往往和实验室/公司内的设备有强关联，需要有安全保障等； 算法相关 负责AI模型开发调试 •算法能力比较强，希望有一个好用的AI模型管理平台；•希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的环境等； 接口相关 通过API等对接口进行工程化封装 如何方便快捷部署使用 •工程能力比较强，更希望有一些项目案例等，可以帮助业务快速的发布和上线；•有完整的应用开发、调试、发布流程等； Serverless开发平台AI场景 函数计算提供构建现代化高可用AI应用的简化路径，是AI应用的最佳实践 上手简单，降本提效 •三步上手最佳实践，一键模型托管，上手门槛降低80%；•快速弹性CPU+GPU实例赋能AI应用降本提效； 拥抱开源，开放生态 •Model Scope，Hugging Face开源生态联动；•LangChain等AI开源框架与阿里云产品高集成； 最佳实践，心智强化 •10+应用场景，50+应用案例，一键部署，快速体验；•覆盖2W+AI应用开发者，打造阿里云函数计算AI第一心智； Serverless GPU –按请求计量 ServerlessGPU虚拟化技术 ServerlessGPU两级资源池 •算力强隔离，显存强隔离•故障强隔离•GPU兼容原生应用 •热资源池：避免Node级别ScaleOut引起的分钟级别冷启动。•资源供给：FC GPU/IaaS GPU两级资源池共同保证GPU资源供给。•使用成本：FC GPU资源池平台持有，用户只为真实使用付费。 如何消除冷启动--容器启动加速 •统一界面：屏蔽IaaS运维复杂度，以K8s为云操作界面 挑战 •高频：满足每分钟创建20000实例的高频创建/删除•高密：满足FaaS的高密部署需求，单机3000+实例•边界：Serverless与K8S边界清晰，以SLO目标满足FaaS需求 提升整体资源利用率 GB级镜像实例秒级启动 顶会论文•UsenixATC 2020:DADI Block-Level Image Service for Agile and Elastic Application Deployment•UsenixATC 2021: FaaSNet: Scalable and Fast Provisioning of Custom Serverless ContainerRuntimes at Alibaba Cloud Function Compute 可用区容灾、环境启停、网络规划、网关路由 SAE底层的K8S集群自身已经做了多可用区部署，只用在控制台，勾选多可用区的vSwitch，就能实现跨可用区的容灾。 运维、弹性、灰度、流水线 构建业务精准弹性，提升资源利用率 定时+监控指标（CPU、Mem等）+业务监控指标（QPS、RT等） 无损下线、全链路灰度 控制台界面 函数计算AI开发模式 啥都没有，思路探索 有模型，有代码，随时可用 热门场景/热门模型 HuggingFace/ModelScope 针对行业内热门应用、场景、模型，提供定制化UI，进一步提升使用体验，例如StableDiffusion应用提供包括模型管理在内的应用管理页面 只有模型、只有代码、或有模型又有代码的用户，可以使用通用的Serverless应用管理能力/Web应用管理能力，帮助用户更好，更方便的使用函数计算 AI场景将会提供StableDiffusion，LangChain，OCR等多种形式的AI应用案例，用户可以一键选择，快速部署，直接使用 用户只需提供HuggingFace、Modelscope的模型地址/创空间地址，即可快速构建AI应用，并天然具备API调用能力或UI使用能力 Serverless函数计算GPU应用场景选型指南（针对推理） Serverless应用中心一键部署SD应用 Serverless应用中心一键部署知识库应用 专属StableDiffusion环境 StableDiffusion WEB UI AIGC应用场景 如何快速体验、快速上手如何方便快捷的部署使用 秒级弹性大规模GPU集群 应用中心一键部署GPU资源免维护 人人都可以拥有自己“专属”的AIGC环境 优秀的开发者体验 快速弹性的CPU + GPU实例 提效降本的现代应用心智 完备的开发者套件 高效能低成本进行AI应用的开发与部署是无数AI开发者/企业的重要关注点，Serverless架构凭借高资源利用率与按量付费模式，以及服务端免运维的开发者心智，成为一众AI开发者/企业的首选； AI应用一键部署，快速上手；AI应用一键多环境划分，标准GitOPS流程；ModelScope一键托管；AIPlugin一键发布到通义千问；阿里云函数计算与应用中心，具备与生态连通，与开源结合，快速上手、一键部署的完整通路，优秀的开发者体验。 GPU实例是AI领域不可或缺的计算资源，在高昂的成本下，可弹性，且可快速弹性的GPU实力成为AI应用不可获取的部分。阿里云函数计算拥有快速弹性的GPU实例，以及大规格的函数计算性能实例，这部分是承载AI应用稳定、高性能推理的重要环节。 完备的开发者套件，是开发者将AI应用部署到云原生架构必不可少的一环，在这一部分，阿里云Serverless架构拥有ServerlessDevs，应用中心等完备的开发者套件，可以帮助开发者从0到1再到N，将业务Serverless化，并提供全生命周期管理能力。 Stable Diffusion与平台集成实践方案 ServerlessWebUI-方案优势解析 服饰穿搭实践 GB级镜像实例秒级启动 医疗领域问答 智能客户聊天 社区自动问答 如罕见病专业知识回复，有限医疗资源情况下进行自助服务；如中医知识问答，针对海量的中医知识进行归纳汇总，解答病患问题；儿童保健及护理，儿童常见病咨询，营养咨询等 如RocketMQ开源知识社区，专门针对RocketMQ领域的知识问答及代码示例；如游戏社区使用游戏的信息（例如游戏介绍，游戏攻略等）构建社区知识库，自动回复社区成员提供的问题； 如企业客服，通过与呼叫中心/聊天机器人服务结合，可自动基于企业知识库就客户提出的问题进行聊天回复； 电商平台搜索问答 IT/HR系统智能问答 智能教育辅导 如使用企业内部IT/HR使用手册构建企业知识库，企业内部员工可通过该知识库快速解决在IT/HR上遇到的问题。 如使用教材和题库构建不同教育阶段的知识库，模拟和辅助老师/家长对孩子进行教学。 如使用商品信息搜索，使用商品信息构建商品数据库，消费者可通过检索+问答的方式快速了解商品的详细信息； 如特定商品检索，如节日礼物，周年庆，亲情礼品等，根据特定信息进行定制检索，快速触达用户 大语言模型知识库的基本原理 基本流程 私域数据向量化将 非 结 构 化 内 容 进 行 向 量 处 理01 输入提示词预埋02 将 用 户 的 输 入 问 题 ， 跟 系 统 问 答 的 预 埋提 示 词 整 合 作 为 大 模 型 输 入 大模型结果输出解构化03 对 大 模 型 输 入 的 内 容 进 行 结 构 化 输 出 技术细节 1.LLM2.embedding3. controlledtextgeneration 函数计算产品—基于云原生大模型智能问答实践 用户身边0成本的“高级技术专家”，致力于提升云原生产品使用体验、降低云原生应用生产门槛 资源生成｜ 利用大模型技术实现云原生资源配置的交互式创建、修改与应用等，提升资源维管效率 应用构建｜ 面向云原生中间件产品，实现云原生动态脚手架应用快速构建，降低业务应用构建门槛 故障诊断｜ 知识问答｜ 集成云原生已有的系统诊断能力，面向业务应用构建具备全栈技术能力的辅助诊断助手 整体系统架构 云原生大模型践行可扩展架构设计，便于更多的云原生产品因大模型技术而受益 函数创建 利用大模型快速理解用户诉求，匹配合适的触发器设置、生成满足业务诉求的脚手架代码 监控运维 通过云原生大模型对话式唤起现有Serverless监控面板，面向应用整合常见Ops操作 微 信 官 方 公 众 号 ： 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例