02 以元为数和配置 动的 eBay 交易风控 AI 模型管理和部署实践 — — 王兵

eBay支付风险AI模型生命周期与Spec驱动模型管理部署

AI模型生命周期与模型Spec

• AI模型生命周期阶段：包括模型刷新（重新调整）、特征模型培训、模型部署、工程性能、验证、业务用法和在线/脱机模式。
• 元数据管理：涵盖原始功能元数据、模型服务API元数据、功能获取元数据、培训数据集元数据、管道元数据、模型对象元数据、功能预处理元数据、模型预测元数据、模型输出后处理元数据。
• 模型Spec（型号规格）：定义基本模型信息（业主、模型类型、场景、刷新频率）、功能提取（特征名称、数据源、值类型、默认值）、模型对象（模型类型、框架和版本、参数、目标SLA）、多模型推理（管道定义、模型路由定义、推理预处理和后处理）、监视和日志记录（架构定义、度量、事件/表资料）。

统一上下文培训模型for模型服务

• 传统问题：模型训练和推理之间存在大量手动工作，导致差异。
• 解决方案：通过统一上下文，数据科学家使用模型Spec进行模型培训，领域工程师进行模型集成，数据工程师进行模型部署，减少手动工作。

模型Integration by模型部署Spec

• 特征预处理：传统方法通过pickle序列化和反序列化迁移预处理逻辑，存在环境依赖库问题。
• 优化方案：通过逻辑表示再现预处理，解决不同环境依赖库问题，并通过多处理并发优化性能。
• 模型规范表示：包括代码逻辑表示、倾倒解析逻辑表示、特征提取模型、特征预处理模型对象、模型输出后处理模型推理路由选择等。
• 配置部署：通过模型规范快照配置功能获取配置，实现特征预处理配置、模型对象配置、模型规格商店版本控制、模型输出后预处理配置等。

模型服务可观察性Monitoring

• ML系统监控：采用ML测试得分评估机器学习生产就绪度和技术债务减少。
• 模型输出监控：包括默认结果率分数分布、模型功能监控（空/空率、价值分布）、模型系统监控（延迟、错误率）。
• 可观测性技术：使用NRTMetrics、LogEvents、AggregatedEvents、事件消费者&处理器、ApacheFlink、Kafka集群、元数据Monitoring、元数据模型规格商店监控、LogEvents、HDFS脱机、Metrics、Hadoop等技术实现模型输出和特征可观测性和监测。