eBay智能营销中的AI一体化大数据平台实践

eBay智能营销体系与技术架构总结

1. 智能营销场景与系统

• 多渠道营销：涵盖广告营销、消息营销、社交营销等。
• 营销漏斗全覆盖：包括品牌推广、用户培养、营销转换等阶段。

2. 大数据生态与算法应用

• 数据规模：每天消费数据超过1PB。
• 计算资源：结合离线计算与实时计算，采用CPU与GPU集群。
• 资源优化：注重性价比，支持通用性与专业性计算需求。

3. 机器学习生命周期

• 核心平台：包括机器学习训练平台、模型A/B测试平台。
• 未来展望：持续优化特征平台与推荐系统框架。

4. 特征平台（FeatureLake）

• 挑战：开发周期长（占模型开发60%以上）、特征复用率低、离线与在线特征不一致。
• 机会：数据源有限（<100），数据聚合转换重复率80%。
• 数据源定义：特征领域+键（key）、历史回溯时间、最小聚合粒度。
• 特征定义：Transformer、FeatureSet。
• 场景分类：
  • 场景2：数据源一致，聚合时间粒度不同。
  • 场景3：数据源不一致。
• 离线与NRT特征不一致性：探讨Lambda与Kappa架构下的解决方案。
• 其他功能：Replay & Point-in-Time、Feature Driver Set、特征生命周期管理。

5. 机器学习训练平台

• 理想环境：支持多异构环境（Python/Spark, CPU/GPU）、数据一致性（FeatureLake）、开发与生产环境一致性。
• 模型协同开发：基于GitHub的代码+版本管理、模块化+协作开发、元数据定义（yaml）、统一集成部署。
• 模型编排：基于Airflow的工作流引擎、多租户空间隔离、低代码AutoML方案（Ludwig）。
• 计算集群多样性：离线统计模型（Spark/Hadoop/Python）、神经网络模型（GPU集群）、特殊需求独享集群。
• 模型运行监测：运行状况、时长、失败率、资源使用情况、离线测试。
• 在线模型发布：容器化部署。

6. 模型A/B测试平台

• 核心作用：模型上线前的最后一环，真实数据模拟与收集。
• 难点：快速集成、测试指标自动化计算、在线实时分析与可视化。
• 数据：数据源统一、计算方式统一、质量保证。
• 数据洞察：及时性、可视化。
• 指标体系：100+基础指标（参与度、GMB、行为、算法模型指标），N渠道×时间窗口×归因逻辑=1500+最终指标。
• 评估方法：分组平衡、置信度、异常报警、实时多维度分析。
• 在线实时分析：多维度分析、动态capping、Lift与置信度计算，百亿级数据秒级查询，基于开源列式OLAP数据库引擎的定制方案。
• 动态分析可视化：基于Redash开源方案的定制优化，优化包括Python语言扩展、预定义函数、自定义可视化组件。

7. 未来展望

• 特征动态定义语言（DSL）。
• 运算资源优化管理。
• 推荐系统框架。
• 向量数据库。