客户是一家拥有200多年历史的财产险和意外险领导者,其原有的Teradata Hadoop Appliance支持合同即将到期,且数据存储空间已超过80%,无法扩展。客户需要将400TB数据和分析流程迁移至AWS云,同时降低成本并实现无限扩展。项目初期由另一家供应商负责,但因缺乏AWS经验导致进度落后。SoftServe作为AWS ProServe介入,帮助客户完成迁移。
客户面临的挑战包括:基于定制Amazon EMR集群的架构,整合Ranger、Hive on LLAP、Atlas等组件与本地安全系统存在困难,且时间紧迫。SoftServe提出了两种方案:主方案为将Hortonworks/HDP迁移至AWS EMR并进行优化;备选方案为分两阶段迁移,第一阶段使用CloudBreak将HDP从本地迁移至AWS EC2,第二阶段重构数据平台并利用云原生服务。
最终选择主方案,SoftServe完成了以下工作:配置Apache Ranger进行细粒度授权,设置EMRFS基于IAM角色的认证,部署Hive on LLAP提升查询性能,集成Apache Atlas进行数据治理,并将所有EMR组件与客户安全系统集成。项目按时交付,满足了客户的性能要求。
SoftServe的价值体现在:将项目拉回正轨,为客户定制并安全地部署了符合需求的Hadoop EMR集群。客户通过迁移降低了存储和第三方支持成本,并获得了无限扩展能力。