案例研究:亚马逊云科技性能数据管理优化方案
客户背景
客户为总部位于美国波士顿的领先金融服务全球公司,管理超过一千亿美元的资本,涉及私募股权、公开股权、风险投资等多个领域。客户面临全球全天候交易产生的海量数据,现有专有交易系统不支持及时分析,导致数据刷新影响主系统性能,且夜间刷新无法满足全球运营需求。
业务挑战
- 数据刷新效率低下:每个数据库读副本节点只能并行处理少量任务,共时工作流程导致执行效率低。
- 缺乏监控:无仪表板或指标统计详细管道执行情况。
- 单点故障:系统缺乏故障切换策略。
- 全球运营限制:夜间刷新无法满足全球不同时区的交易需求。
解决方案
SoftServe团队通过架构评估,提出基于AWS的优化方案:
- 架构优化:
- 引入AWS Redshift Spectrum,实现schema-on-read直接从S3读取数据。
- 使用AWS Lambda进行无服务编排,提升并行处理能力。
- 通过AWS CloudFormation实现基础设施即代码(IaaS),简化部署。
- 数据处理改进:
- 将压缩文件加载到数据库,通过分组小文件提高处理速度。
- 实现工作流执行并行化,拆分不同数据流进行并行处理。
- 技术选型:
- 评估并测试两种数据库方案(直接从S3读取或压缩文件分组),最终选择最优方案。
- 推荐使用AWS S3、Redshift Spectrum、Lambda等AWS服务。
实施成果
- 数据处理流程执行时间减少50%。
- 项目按时交付,得益于SoftServe团队对金融服务行业和AWS服务的全面理解。
经验教训
- AWS S3与原始数据位置匹配度高:S3服务与“投资服务”原始数据位置匹配良好。
- AWS云构建设置:基础设施即代码(IaaC)实现轻松快速部署。
- AWS Redshift Spectrum:开箱即用的staging位置解决方案,支持读时模式。
- AWS Lambda:基于事件的解决方案,用于整个解决方案的编排。
结论
通过AWS技术栈的优化,客户实现了数据处理效率的提升和全球运营的可靠性,为后续的改进和优化奠定了基础。