全球投资公司的AWS性能数据管理优化

案例研究：亚马逊云科技性能数据管理优化方案

客户背景

客户为总部位于美国波士顿的领先金融服务全球公司，管理超过一千亿美元的资本，涉及私募股权、公开股权、风险投资等多个领域。客户面临全球全天候交易产生的海量数据，现有专有交易系统不支持及时分析，导致数据刷新影响主系统性能，且夜间刷新无法满足全球运营需求。

业务挑战

1. 数据刷新效率低下：每个数据库读副本节点只能并行处理少量任务，共时工作流程导致执行效率低。
2. 缺乏监控：无仪表板或指标统计详细管道执行情况。
3. 单点故障：系统缺乏故障切换策略。
4. 全球运营限制：夜间刷新无法满足全球不同时区的交易需求。

解决方案

SoftServe团队通过架构评估，提出基于AWS的优化方案：

1. 架构优化：
   • 引入AWS Redshift Spectrum，实现schema-on-read直接从S3读取数据。
   • 使用AWS Lambda进行无服务编排，提升并行处理能力。
   • 通过AWS CloudFormation实现基础设施即代码（IaaS），简化部署。
2. 数据处理改进：
   • 将压缩文件加载到数据库，通过分组小文件提高处理速度。
   • 实现工作流执行并行化，拆分不同数据流进行并行处理。
3. 技术选型：
   • 评估并测试两种数据库方案（直接从S3读取或压缩文件分组），最终选择最优方案。
   • 推荐使用AWS S3、Redshift Spectrum、Lambda等AWS服务。

实施成果

• 数据处理流程执行时间减少50%。
• 项目按时交付，得益于SoftServe团队对金融服务行业和AWS服务的全面理解。

经验教训

1. AWS S3与原始数据位置匹配度高：S3服务与“投资服务”原始数据位置匹配良好。
2. AWS云构建设置：基础设施即代码（IaaC）实现轻松快速部署。
3. AWS Redshift Spectrum：开箱即用的staging位置解决方案，支持读时模式。
4. AWS Lambda：基于事件的解决方案，用于整个解决方案的编排。

结论

通过AWS技术栈的优化，客户实现了数据处理效率的提升和全球运营的可靠性，为后续的改进和优化奠定了基础。