路项浩- 美团 Spark Shuffle 架构演进

建设思路
- 目标：
  - 提高Shuffle稳定性，新模式下成功率100%
  - 大Shuffle效率不低于原生Shuffle
- 能力：
  - 负载均衡
  - ShuffleRead/Write
  - 流控
  - 降低磁盘IO
  - 数据备份
Shuffle问题解决
- 热点读：通过Reducer请求RSS节点merge数据降低请求数
- 负载不均衡：Shuffle Write一致性Hash、ShuffleRead HDFS负载均衡
- 无流控：反压机制
- 随机读：顺序读面向Reducer组织数据
- 数据无备份：HDFS三副本机制
设计要点
- 数据一致性：
  - Mapper端AtLeastOnceSend
  - CRC32校验
  - 元数据校验
  - Reducer幂等处理
- 稳定性：
  - 超时未ACK重新发送
  - 自动剔除问题RSS节点
- 流控：
  - 指标监控
  - Ketama一致性Hash
  - AQE支持
  - SkewJoin读放大，数据一致性
  - SMJ转BHJ读放大
测试上线
- 测试验证：
  - TPC-DS验证
  - 上线作业验证
- 回退策略：
  - 参数化配置shuffle策略
  - 初期双跑
  - 线上作业失败自动回退原生Shuffle
- 上线策略：
  - 初期作业粒度灰度
  - 后续SLA作业默认使用
  - 白名单控制
上线收益
- 0%因Shuffle慢/失败导致SLA打破
- 70%+作业ShuffleFetch平均等待时间下降
- 10%+作业平均执行时间节省

架构
- 复用离线集群资源，硬件无隔离
- Push小Block解决随机读，但非所有数据Push（大Block不Push，超时未Push）
关键点考虑
- 不能全局协调资源，负载均衡效果受限
- 效果受多种因素影响：作业获取资源、Reduce并发数、磁盘IOUtil变化、数据存储量
Shuffle问题解决
- 热点读：部分解决
- 无流控：未解决
- 随机读：部分解决
- 数据无备份：部分解决
- 负载不均衡：未解决
测试验证
- 磁盘IOUtil变化、HDFSRead、ShuffleRead/Write、磁盘存储量变化
- ShuffleRead时间变化：15%-->8%