Tailored Brands 是一家领先的全渠道男装零售商,通过其门店和电商平台提供个性化产品和服务。公司面临库存管理挑战,决定整合线上订单和库存需求与现有本地系统,并迁移 Talend 数据管道至 GCP 的高吞吐量、可扩展基础设施。
项目核心任务是将 40 多个 Talend 数据管道迁移至 Google Dataflow,由 SoftServe 团队实施。项目分为三个阶段:需求发现、实施和后期支持。团队通过逆向工程 Talend 流程并定义通用数据处理模式,快速构建了 Dataflow 管道模板,并引入了数据质量检查和回放功能,简化了开发流程。
项目价值包括:
- 6 个月内完成 40 多个数据管道迁移至 GCP
- 通过日志和错误报告降低维护复杂度
- 引入数据质量检查和回放功能优化管道性能
- 通过模板和 CI/CD 流程简化开发周期
技术方案采用:
- Google Cloud Dataflow 作为核心数据集成工具,实现低延迟、批处理和自动扩展
- Cloud Storage 存储中间数据
- Stackdriver 收集日志并路由至 Sumo Logic 进行分析,同时利用 Stackdriver 的告警和仪表盘功能
- 通过 Cloud Pub/Sub、Cloud Storage、JDBC 和本地消息代理(如 Tibco EMS)实现系统间数据交换
- CI/CD 流程基于 Jenkins 和 Terraform 构建
项目成功为 Tailored Brands 实现了线上线下订单的统一视图,并通过云技术提升了数据处理的效率和可维护性。