秦思思-大模型火热背后的 MLOps 发展现状和趋势

秦思思高级业务主管（中国信息通信研究院） 国际注册信息系统审计师（CISA）、高级信息系统项目管理师、ScrumAlliance敏捷教练、软件工程造价师，具有十余年金融机构项目管理和质量管理经验，在CMMI、DevOps、研发效能领域有深入研究和实践，并参与软件度量相关的国标和地标编制及《IT审计》著作翻译。作为人工智能关键技术与应用评测工信部重点实验室人工智能工程化推进委员会人工智能研发运营小组组长，目前重点跟踪研究人工智能工程化（包括MLOps、LMOps、AI治理、模型管理、模型评测等）的发展，牵头系列标准的编制、评测、咨询等工作。 01大模型发展现状 02大模型对MLOps带来的挑战 03MLOps发展新路径 04 大模型百家争鸣，形成AI技术发展新格局 Ø各界积极投入研发：互联网企业、AI企业、高校院所、电信运营商、金融机构纷纷入局 Ø技术迭代不断加速：大模型更新迭代周期不断缩短，模型发布呈井喷态势 Ø从单模态到多模态：语言、语音、视觉、多模态大模型全面铺开落地 Ø应用范围不断扩大：大模型不断面向医疗、教育、金融、电力等细分领域拓展应用 社会价值-普惠向善 行业应用-拓宽加深 技术能力-持续提升 生态构建-强强联合 大模型技术能力仍在持续突破，在语言/视觉/多模态/生成等领域的性能取得显著提升。 大模型生态构建呈现出产、学、研强强联合的趋势。领域头部企业充分发挥优势，纷纷寻求合作。 大模型行业应用开始面向具体任务和垂直行业，建、用、管的关注焦点，由训练转向应用。 大模型社会价值凸显，不再唯参数规模论，开始强调实用性、普惠性，造福社会。 百度文心千帆大模型平台 华为昇思大模型平台 火山引擎大模型服务平台 提供全流程智能化的数字人手语生成服务，方便听障人士收看赛事专题报道，提升社会参与度和幸福感 阿里云PAI大模型平台 基于智源悟道大模型的冬奥手语播报数字人系统 2023 DevOps国际峰会暨BizDevOps企业峰会·北京站 大模型技术能力多维提升 大模型应用落地向各行业辐射 随着大模型性能和功能持续提升，过去几个月，科技巨头们推出一波又一波通用大模型，未来行业大模型将如雨后春笋般出现 大模型赋能行业应用成为AI发展新趋势 搜索领域：重塑检索结果的呈现，例如：微软的“NewBing”办公领域：打造智能化平台，例如：微软的“Copilot”；阿里的钉钉；金山的“WPSAI”；飞书的“MyAI”；百度“如流”金融行业：赋能智能客服和投研能力例如：彭博社“BloombergGPT”；工行金融通用大模型；农行“ChatABC”；金融顾问“4K-GPT”；LightGPT大模型教育行业：个性化、启发式教育模式变革探索中，例如：科大讯飞“星火”；网易有道“子曰”；学而思数学大模型“MathGPT”医疗行业：提升线上问诊和实体医院的医疗效率，例如：谷歌Med-PaLM多媒体：使用文字生成图像、音频等，例如：Adobe的“FireFly“法律界：法律内容搜索和总结、合同和简报起草，例如律商联讯Lexis+AITM 大模型功能持续进化，赋能多个垂直场景 2023 DevOps国际峰会暨BizDevOps企业峰会·北京站大模型的应用进一步推动人工智能开发从“作坊式”到“工业化”升级，降低AI应用门槛，促进AI普惠化。大模型使行业竞争更加激烈，使用大模型提高产品和服务竞争力，将为企业带来长期持续的竞争优势。大模型的应用生态将创造出更多商业机会和就业机会，智能涌现将有可能重塑商业和社会秩序，为行业变革带来契机。 大模型为行业带来的影响： 大模型平台落地趋势：使大模型更加下沉更加普惠 大模型平台重点关注大模型供需双方的匹配，1+N模式或将成为主流生产模式，1个大模型+N个插件、模型、软件、应用...平台工具作为AI大模型淘金时代的铲子 Ø形成多种交付模式，促进大模型普惠化进程 01大模型发展现状 02大模型对MLOps带来的挑战 03MLOps发展新路径 04 大模型的特点和挑战 大模型的特点：参数量大、训练数据量大、泛化能力强、强大的理解能力、强大的生成能力... 推理更新不及时 应用流程复杂成本高 私有化部署和应用成本高昂，训练是周期性投入，而推理是持续性长期投入 大模型缺乏足够的专业领域数据，“幻觉”问题凸显，无法获取实时数据，推理结果缺乏足够的准确 应用场景不够灵活 安全问题更加显现 大模型好似可以替代一切工作，又好似壁垒重重，大小模型协同、和插件应用的协同、和应用系统的协同、和知识库的协同将打破重重壁垒 大模型波及面广、渗透性强、影响度深，需做好大模型及其应用的安全合规，这可能涉及实现访问控制、加密和其他安全措施 大模型落地应用面临的挑战 AI工业化生产进程加速，大模型规模化应用仍需突破，在二次开发和部署的应用层面，安全可信层面，均面临诸多挑战。 大模型为MLOps带来的挑战 MLOps可以承载大模型工程化过程，解决大模型落地面临的挑战，但MLOps急需能力扩展 灵活的数据处理能力 1 大模型调优能力 2 分布式推理能力 更强大的资源管理调度能力4 插件等扩展能力 更强大的安全可信能力 01大模型发展现状 02大模型对MLOps带来的挑战 03 04 MLOps概念与原则 MLOps是通过连接模型构建团队、业务团队及运维团队，为机器学习模型全生命周期建设标准化、自动化、可持续改进的过程管理体系，使组织规模化、高质量、高效率、可持续地生产机器学习模型。 基本原则 角色分工 作为AI基础设施之一，MLOps促进各团队高效协作，提升业务价值产出。一般来说，实施MLOps需要遵循的原则包括自动化、持续性、版本化、可监控、可测试、可追溯、可复现、可协作等。 组织应围绕MLOps流程的持续运转，明确角色与分工，可提高多角色间的协作效率，从而提升整体生产效率和质量。 2023 DevOps国际峰会暨BizDevOps企业峰会·北京站 MLOps发挥着承上启下的作用 MLOps体系平台位于基础设施、数据中台、框架引擎之上，支撑AI模型规模化生产，赋能下游应用场景 MLOps发展历程 概念明确阶段（2018-2019） MLOps这一概念被提出并逐步接受。2019年提出的CD4ML理念，阐述了机器学习项目如何开展持续交付，并提出端到端的交付流程。 2023起for大模型 斟酌发酵阶段（2015-2017） 落地应用阶段（2020年至今） 2015年Google首次提出机器学习项目技术债问题，标志着机器学习高效落地问题被明 2020年以来，产业焦点集中于AI大规模快速落地，布局MLOps平台或工具的需求日益迫切，推动组织数智化转型成为产业界追逐的目标。 确提出和正视。 2023 DevOps国际峰会暨BizDevOps企业峰会·北京站 MLOpsfor大模型 LMOps(LargeModelOperations): MLOpsfor大模型，LMOps使大模型通过更加体系化的过程更快获得更优专有能力，适应更多场景落地。 流程化：数据-调优-交付-运营流水线 自动化：自动化流水线和工具链 持续闭环：模型监控、数据反馈、回流迭代 可管理：AI资产管理和协同、资源管理调度 灵活协同：与应用、插件、系统、数据库、软件高效协同 LMOps是MLOps面向大模型的垂类分支 随着大模型的迅速崛起，LMOps作为重要分支为MLOps补充新型能力，共同构筑AIPaaS MLOps+LMOps助力MaaS服务模式落地 MLOps+LMOps共同打造AI模型开发和管理平台，API、SDK等常用的灵活输出方式的出现，使工具化、平台化方式逐渐出圈，为模型即服务模式的落地提供坚实基础，促进包括大模型在内的模型服务实现落地新范式，未来AI服务将像水电一样触手可及 模型即服务（MaaS）以算力、模型仓库及数据仓库为基础，实现简单、快速、灵活、可定制化的供给模式，形成AI落地新范式 从常用的接口调用方式，到大小模型联动、大模型for中枢平台、大模型for软件服务等新方式的出现，为满足应用多样性需求，模型服务能力急需跟上 01大模型发展现状 02大模型对MLOps带来的挑战 03MLOps发展新路径 04 工作体系 生态建设 标准评测 ü技术沙龙交流ü产业活动峰会ü最佳实践推广 咨询服务 产业研究 ü项目咨询顾问ü战略规划指导ü从业人员培训ü技术公开课程 ü落地实践指南ü产业观察报告ü技术工具图谱 MLOps系列标准结构 开发管理、模型交付已发布，模型运营、大模型运营标准火热进行中 能力成熟度等级划分 智能化，支持机器学习流水线部分环节的智能化学习和执行 开发管理标准（2022.4已发布） 聚焦AI开发过程管理，助力流程自动化、体系标准化、资产版本化 模型交付标准（2022.10已发布） 聚焦持续交付，打造CI/CD/CT流水线，敏捷交付、快速上线、持续迭代 模型运营标准（即将发布） 聚焦持续监控，注重模型服务的稳定、安全、高质量和业务的体验、效率、效益 行业痛点 LMOps使大模型走向应用，是MaaS的平台化能力之一 评测介绍 信通院MLOps【开发管理/模型交付】能力成熟度评级开放应用成熟度和服务能力两个评测维度 服务能力评测 2023 DevOps国际峰会暨BizDevOps企业峰会·北京站面向应用方，围绕具体的AI模型等项目，客观地评价企业落地MLOps的技术和管理水平，横向对标企业内不同项目间或不同企业间的应用能力现状，树立行业实践标杆，为全方位持续改进AI项目研发运营管理水平提供参考。 面向产品服务方，客观地考察企业MLOps平台或工具能力，并在此基础上系统性评估企业提供AI模型等产品的服务能力，横向对标企业间的服务能力水平。 工作进展计划 联盟评估规范 Thanks DevOps时代社区荣誉出品