梁晓扬：MLOps在网络智能化领域落地实践

梁晓扬中国移动通信有限公司研究院九天网络智能化平台产品线CEO DataFunCon#2023 01九天网络智能化平台 体 系 化 人 工 智 能 的 核 心 引 擎 ： 九 天 中国移动目前已形成全面的九天人工智能产品体系，服务超用户，赋能价值 网 络 智 能 化 九 天 网 络 智 能 化 平 台 2021年至今 ü作为自智网络的智能化数字底座，实现了全网集中建设，支撑31省生产调用ü国内首个通过“电信业人工智能平合产品能力评测认证”的AI平台，并被AIIA联盟选为“AI平台年度标杆案例” 2018-2019年 九 天 网 络 智 能 化 平 台 九 天 网 络 智 能 化 平 台-技 术架 构 九 天 网 络 智 能 化 平 台-部 署 架 构 02 AI工程化落地探索 我 们 的 探 索 我 们 的 探 索 不同省份监控故障类数据分布不同，故监控故障类能力不具备共享条件，但是可以共享方案。这类能力特点是需要调用省份根据省内数据一次重训模型，然后基于优化后的模型去进行推理，即不同省份拥有不同的模型文件，一次训练后可进行持续多次的推理服务。 我 们 的 探 索 1.算法和后端开发定期交流 2.对算法人员进行编程规范等培训 3.后端开发人员加强算法知识学习，《概率论》《机器学习》等 W h y M LO p s ? - M LO p s是A I落 地 生 产 的 必 由 之 路 MLOps定义:链接模型构建团队和业务、运维团队、建立起一个标准化的模型开发、部署与运维流程，使得企业组织能更好的利用机器学习的能力来促进业务增长。以标准化过程生产高性能模型的持续交付。 03MLOps技术选型 技 术 选 型 决 策 点 ： 02 04 模 型 封 装 技 术 选 型 Kubeflow工作流 Amazon SageMaker商业工具（参考） ü自动化偏差、模型漂移和概念漂移检测ü通过Amazon SageMaker Pipelines进行数据自动加载、数据转换、模型建立、模型训练与调试ü通过源代码和版本控制、自动化测试和端到端自动化，进行CI/CDü训练数据、平台配置、模型参数和梯度学习的工作流日志ü用于策略管理和执行、基础设施安全、数据保护、授权、身份验证和监控的安全机制 Seldon Core：Seldon Core目前是机器学习模型部署领域最受欢迎的方案之一，由Seldon公司开源和维护。Seldon Core旨在为不同框架下训练出来的模型（Tensorflow，Pytorch，SKLearn，XGBoost）提供一套相对统一的部署方式。 模 型 封 装/调 度 技 术 选 型- K S e r ve KServe是由谷歌、IBM、彭博社、Nvidia和Seldon合作开发的，是Kubernetes的开源云原生模型服务器。是从Kubeflow项目毕业的独立组件。KServe可以部署为传统的Kubernetes部署，也可以部署为支持零扩展的无服务器部署。对于无服务器，它利用了面向无服务器的Knative Serving的优势，具有自动缩放功能。Istio用作入口，向API使用者公开服务端点。Istio和Knative服务的结合实现模型的蓝/绿和金丝雀部署。 数 据 漂 移 概 念 数据漂移：当模型在生产中呈现的输入与训练期间提供的训练数据分布不对应 模 型 监 控/漂 移 检 测 技 术 选 型 :（文本、图像） Alibi Detect: Alibi Detect实施成熟且相对容易设置。但是与SeldonCore紧密相关，支持模型实时监控。 通过Kolmogorov-Smirnov Test, ChiSquare Test和Hellingerdistance统计分析数据漂移情况。其中KS用于检测两个密度分布函数的最大距离，chi用于统计样本的实际观测值与理论推断值之间的偏离程度。 Evidently： Evidently是一个在Apache 2.0许可下可用的Python库。这是一个致力于简化模型监控的工具。Evidently与平台无关，因此它适用于任何模型服务设置和任何机器学习框架 w h y l o g s whylogs可以检测结构化和非结构化数据，用于跟踪数据集变化，快速通过可视化展现数据摘要。可用于监测输入特征的数据漂移、概念漂移和模型性能下降、数据审核和治理。对于图像检测：先降维后检测。（色调、饱和度和亮度，exif） ü检测整体模型性能下降并成功识别导致它的问题。ü与其他工具轻松集成，同时通过其开源数据记录库（Whylogs）保持高隐私保护标准。ü使用内置工具轻松调试数据和模型问题 最 终 技 术 选 型-业 务 流 程 •MLOps不是简单的ML + DevOps•MLOps和业务绑定较紧密，需要业务方自己定义和实现的较多s 最 终 技 术 选 型 自研模型封装 基于自研能力开发框架实现监控工具 04MLOps思考 M LO p s思 考 1 . M LO p s的 输 出 到 生 产 的 距 离 有 多 远 ？ 2 . M L + D E V +部 署 ， 非 自 动 化 流 程 是 否 走 顺 了 ？