亚马逊大规模应用机器学习的MLOps实践

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.亚马逊大规模应用机器学习的MLOps实践 议程•亚马逊应用人工智能和机器学习的概况•机器学习与MLOps•实践中的挑战及SageMaker带来的改进•经验总结与分享 议程•亚马逊应用人工智能和机器学习的概况•机器学习与MLOps•实践中的挑战及SageMaker带来的改进•经验总结与分享 用户Amazon.com商品选择购买商品打包配送 为兑现这一承诺，需要进行哪些工作预测库存放置容量物流采购每天4亿件商品预测准时配送承诺（2019年，为Amazon Prime客户配送了超过10亿个包裹）300+物流中心，20万+机器人，1.9万辆拖车，3万+配送车 亚马逊物流中心——人类与机器人的协奏曲•计算机追踪数百万随机存放的货品•机器人队列将货架带给工作人员•通过Bin Vision System(物料仓储视觉系统) 指导收货/取货活动 为什么运输包装很重要？逐步减少越来越多比同等大小的包装箱轻75%运输过程中占用的空间减少40% 亚马逊大规模的应用人工智能和机器学习 议程•亚马逊应用人工智能和机器学习的概况•机器学习与MLOps•实践中的挑战及SageMaker带来的改进•经验总结与分享 以手工及简单工具在坊间作业的生产方式•每个人在各自的环境中工作•使用不同的工具•不容易合作•不容易规模化 工业化带来专业化规模化 软件开发领域里对工程方法的系统应用 机器学习的生命周期 展开来看机器学习的生命周期1.从客户的业务目标/机会逆向工作。2.框定适合业务需求的机器学习问题。3.收集适合当前机器学习用例的数据。4.在预处理阶段对数据进行清理、排序和标准化。5.设计适合机器学习方法和业务用例的特征。-与业务领域专家一起设计特征，以确保其准确性和可解释性。6.迭代训练模型，并针对业务用例进行优化。7.在强大的基础架构中部署机器学习应用程序。8.监控数据、基础设施和模型输出以维护业务价值。 数据之于机器学习准备工作执行过程机器学习项目的大约1%吗？机器学习项目的大约99%吗？采购和准备高质量的原料采购和准备高质量的数据做一顿饭模型训练 机器学习: Pilots vs OperationalisingPilot阶段Operational 阶段目标:将系统投入生产并实现预期的商业价值ML代码ConfigurationData CollectionETLData VerificationAnalysis &EvaluationsInfrastructureManagementProcess ManagementServingInfrastructureMonitoringTestingAutomationCI/CD机器学习代码MonitoringServingInfrastructure ConfigurationManagement ToolsAutomationContinuousIntegrationContinuous DeploymentTestingData VerificationContinuous DataCollectionModelEvaluationExperiments目标:回答“是否可行，应该继续采用ML？”的问题 得到的结果我们的目标 MLOps-MLOps是交付机器学习解决方案的一系列人员、技术和流程的组合。-架构良好的MLOps赋能企业有效且一致地将机器学习模型部署到生产中，并提供业务价值。PeopleProcessesTechnologyMLOps 实现MLOps的必要条件•ML pipelines•数据仓库•Data pipelines•CI/CD•模型开发环境•模型推理基础架构技术•训练•部署•Monitoring•Logging•性能•治理流程•所涉及的角色(Data scientist, ML engineer, SysOps, etc)•能力•协作•文化人员 议程•亚马逊应用人工智能和机器学习的概况•机器学习与MLOps•实践中的挑战及SageMaker带来的改进•经验总结与分享 业务用例：搜索相关性•搜索和发现体验•如果您在亚马逊上搜索要购买的产品，您使用的是亚马逊搜索！•索引全球所有产品•使用ML 将相关且有趣的商品与每位客户查询进行匹配 搜索与商品的召回搜索词Ranking无序的召回结果有序的商品列表Matching 搜索与商品的召回如何提高相关性并减少稀疏查询搜索结果？使用语义召回增强商品搜索匹配Behavioral dataKeyword matchingSemantic matching搜索词Ranking有序的商品列表Behavioral signalSemantic similarity无序的召回结果 搜索与商品的语义召回最大化（搜索词与高购买可能性产品）对之间的相似性最小化（搜索词与不相关产品）对之间的相似性 搜索与商品的语义召回NikeRedOutdoor running shoesBrandColorTitleProductBurgundy jogging shoesQuery13246782Shared embedding|V| X 256将搜索词和商品映射到共享的embedding space Shared embedding|V| X 256Avg poolingBatchnormTanhBatch normTanhCOS•平均池化神经网络架构•数十亿参数和TB 数据•Similarity = 余弦相似性搜索与商品的召回 以前的基础架构数据处理(Hadoop or Spark)模型训练控制平面数据平面定制工作流Amazon ECRAmazon S3AmazonBatchAmazon EC2 面临的挑战•一些组件自构建以来就没有经历过代际架构变化•碎片化的自定义代码、管道、评估工具•重复开发：难以调试，难以扩展•有限的敏捷性：体力劳动和保姆式的维护•慢迭代：上市时间长•运营风险：有限或没有血缘跟踪，没有模型注册 更新后的基础架构Data analysisData validationData preparationModel trainingModel evaluationModel validationSource repositoryModel pipeline deploymentModel analysisFeature storeModel registryModel servingML metadata storeInference servicePerformance monitoringTriggerSource code实验/开发/测试Orchestrated experiment生产/再生产Data pipelinesTrained modelMLOpsData validationData preparationModel trainingModel evaluationModel validationAutomated model building pipeline数据科学家 MLOps: Amazon Search用户VPCVPC控制平面数据平面APIAmazon EventBridgeStep FunctionsAmazon ECRDynamoDBSageMaker StudioSageMaker modelSageMaker PipelinesAmazon CloudWatchAmazonS312345 效果仅其中一个模型就节省了20% 的部署和维护时间将数据科学家生产力提高至少10%将实验速度提高至少3 倍 更多价值特征存储收集和准备数据在notebooks中可视化数据标注偏差检查挑选算法训练模型参数调优生产部署管理和监控CI/CD提升机器学习卓越运营 议程•亚马逊应用人工智能和机器学习的概况•机器学习与MLOps•实践中的挑战及SageMaker带来的改进•经验总结与分享 AI/ML 应用增加在生产中标准化机器学习并最大限度地缩短交付时间数据科学家专注于创新而不是基础设施促进知识和代码的可重用性和共享性在运营中，清晰定义机器学习应用及运营模式目标MLOps 模块算法数据科学家代码VPC算法目录数据科学家Pipeline blueprintML pipeline 生成器Pushupdates 逐步消除应用人工智能与机器学习道路上的障碍时间MLOps成熟度搭建实验环境标准化代码存储库和ML 解决方案部署引入测试、监控和多账户部署模板化和生产多个ML 解决方案初始阶段可复验阶段稳定阶段扩展阶段亚马逊云加持 关键要点亚马逊从MLOps中获得了真正的、可衡量的价值机器学习工作负载的标准化和自动化至关重要您也可以这样做！ 构建您的MLOps实践强大的数据平台选择合适的初始项目机器学习优先的思维和文化持续扩展赋能团队达成使命 © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.