大模型时代的AI能力工程化

肖然ArchSummit 2024 © 2024 Thoughtworks AI进入2.0时代 AI应用的成本越低，AI应用的范围越大 李开复在2023年3月19日发布Project AI 2.0时谈到AI 1.0和AI 2.0的关键变化 当具备跨领域知识的基础模型出现之后，微调适应不同领域任务的AI模型的成本极低 Source：量子位 我们正在进入一个新应用时代！ 出现了许多新的应用场景 融合AI技术的应用开发变得更复杂 为了将GenAI应用于生产环境，我们需要考虑一系列问题，如安全性与合规性、模型选择与部署、资源应用与购买等。 上一个AI时代企业应用的惊人事实 87%的AI模型开发项目未投入生产-VentureBeat50%的时间花在模型部署上-Algorithmia AI模型的治理仍然很随机 AI模型治理面临的共性难题：难管理、难部署、难监控、难协作 简单数据 复杂数据 (非结构化数据为主，另含视频、雷达等多模态数据) 常见场景：推荐引擎、精准营销、异常检测等业务场景；非结构化数据以文本分类，情感分析为主开发模式：本地，单机即可完成数据处理、训练和发布等所有工作，GPU资源需求小难点挑战：难以获取数据，数据权限管理和内部流程平台需求：开放数据、模型管理、部署和运行常见产品：Dataiku, Databricks 小数据量单机可完成模型开发 常见场景：推荐引擎、精准营销、异常检测等业务场景；非结构化数据以文本分类，情感分析为主开发模式：云端多人协作，根据企业相关人员规模选择平台产品或自研平台难点挑战：难以获取数据，数据权限管理和内部流程平台需求：大数据平台、开放数据、模型管理和部署常见产品：Dataiku, Databricks,自研机器学习平台 常见场景：自动驾驶、语音识别、各类生成式AI，各类数据的基础模型开发开发模式：多人协作，基于云端算力打造自研平台难点挑战：标注数据成本高，算力需求巨大平台需求：端到端支持数据采集、挖掘、标注、算法训练、模型评估、模型管理等常见产品：自研机器学习平台 AI能力工程化才刚刚开始 行业内探索MLOps过程管理和LLMOps模型治理的标准，但构建全流程的AI研发运营体系仍然任重道远。 ●小作坊式的开发，工具链碎片化●AI资产（算法/数据/算力）管理散乱●数据来源分散，数据不标准，获取难 考虑到AI模型开发方法发生巨变的今天，需要全新思考如何解决这部分问题！ ●一旦交付，很难重新训练和发布新模型●缺少基础设施支持大规模训练和推理●无法观察监控模型在生产环境的运行状态 ●AI团队&IT：模型适配只能交给AI团队●AI团队&业务：业务不知道已有AI能力●AI团队&AI团队：AI模型分享交流难 实现AI能力工程化，Hugging Face经验值得借鉴 Hugging Face不是一个AI模型开发平台，而是AI模型治理平台和应用社区，吸引大家用起来。 1.降低模型开发成本2.降低模型使用难度3.助力模型分享交流 GluonMeson平台能力 Thoughtworks交界平台 命名来源背景介绍： 胶子（gluon）是负责在两个夸克之间传递强作用力的基本粒子，介子（meson）是粒子物理学中一个夸克和一个反夸克通过强作用力捆绑在一起的复合粒子。象征着我们平台是介子，通过平台的能力（胶子），将大模型和各业务场景凝聚到一起。 面向AI 2.0的企业级平台蓝图 AI不会淘汰你，但学会使用AI的人会 AI能力工程化的关键是人！ AI应用的复杂度带来了新的协同关系 AI 2.0时代组织能力升级 大模型技术、算力技术、监管政策、市场等存在高度不确定性，需要在不确定性中寻找确定性 ●三个核心能力 ○AI驱动的数字产品○AI驱动的一体化平台○现代化的数据架构 ●两个支柱 ○低摩擦运营模式○负责任的技术 ●企业文化 ○产品思维○敏捷交付思维○AI使能的团队○拥抱变革 ©2024Thoughtworks l 拥抱AI 2.0，迎接数智化未来 Thoughtworks提供AI 2.0在业务和研发场景下的数智化转型战略规划、体系化AI人才培养和能力建设、企业私有化大模型构建方案、AI平台和应用框架设计开发，以及AI高价值场景从探索、设计到落地实施及运营推广的端到端方案，加速您的数智化转型之旅。