Leveraging NVMe, SDS and commodity hardware to double query performance for Oracle RAC systems

客户环境

• 美国规模最大的医疗补助受援州之一
• 处理数千万医疗保健受援者的分析，拥有20年的索赔数据（超过20亿行）
• 每年处理TB级新索赔数据
• 为数千名分析用户提供数千个查询/天

当前平台

• 定制数据库平台：预校准/预配置的Oracle平台
• 架构组件：计算/存储/互连
• 功能组件：内置数据库迁移产品（Mosaic DART）、实时硬件/软件/数据库状态监控的Web控制台

产品特性

• 超高性能和低延迟
• 简单优雅，快速部署
• 弹性扩展
• 预安装、预配置的Oracle RAC集群
• 一键式迁移
• 机架、堆叠和布线，即插即用
• 校准和可扩展配置
• 完全冗余平台
• 有竞争力的性价比

产品演进

• 10年来使用当时最先进的技术发展
• 目的：消除长期部署风险和平台次优问题，满足客户对更高性能的需求，应对数据量指数级增长

产品演进矩阵

• 世代演进：Gen 1 (VMAX 400K) -> Gen 2 (DSSD 2xD5) -> Gen 3 (Mosaic SD NVMe)
• 技术对比：
  • Gen 1：FibreChannel，2个机架，存储节点有限，带宽34GB/s，功耗20.6kW，成本$2,000,000+
  • Gen 2：NVMe-PCIe，1个机架，存储节点有限，带宽130GB/s，功耗4.6kW，成本$1,000,000+
  • Gen 3：NVMe，1个机架，可扩展，带宽154GB/s，功耗3.6kW，成本~$500k

Mosaic NVMe SD技术

• 计算层：优化内核（Oracle RAC/NVMe RDMA）、优化客户端内核、配置内核参数
• 互连层：I/O适配器（ConnectX5）、队列对优化
• 存储层：Mellanox SB7800交换机、NVMe SSD驱动器、DELL R740XD服务器
• 管理软件：Mosaic NVMe SD Console、Wildfly、Keycloak等

性能验证

• 原子操作对比：
  • 创建表空间：VMAX 400K (111分钟) -> NVMe DSSD (82分钟) -> Mosaic SD NVMe (31分钟)
  • 并行直接路径插入8亿行：VMAX 400K (156分钟) -> NVMe DSSD (101分钟) -> Mosaic SD NVMe (77分钟)
  • 创建唯一全局分区索引：VMAX 400K (11分钟) -> NVMe DSSD (4.6分钟) -> Mosaic SD NVMe (4分钟)
• 最大可持续扫描率：Mosaic SD NVMe (37GB/秒/节点)
• 客户基准测试：
  • 8x8配置：总字节扫描率137TB/小时，总行扫描率5万亿行/天
  • 查询单个表扫描时间：1.4分钟
  • 最大可持续扫描率：154GB/秒
• 典型客户查询：
  • Claim_Trans (13.5TB, 9.7亿行)
  • Claim_Proc (1.1TB, 5.9亿行)
  • Claim_Dx (1.4TB, 16.1亿行)
• OBIEE使用统计：
  • Day 1：查询量约1.5亿
  • Day 2：查询量约2.5亿