涂瑜-Hadoop Yarn 在小米的实践

小米Hadoop YARN实践总结

调度优化实践

1. 节点资源更新优化：

   • 采用异步批量更新队列资源，避免直接触发节点资源更新引发的卡顿问题。

2. 多线程调度优化：

   • 引入仲裁线程，根据分配结果调整子队列资源配额，解决资源变动引起的调度线程异常崩溃问题。

3. ResourceLimit计算逻辑优化：

   • 通过Resources.componentwiseMin返回各项资源限制的最小值，跳过userlimit计算逻辑，提升性能。

4. 单次分配多个容器：

   • 调整调度策略，允许一次分配多个容器，提升单位时间内的分配效率。

资源优化实践

1. 弹性调度：

   • 实现基于资源标签和表达式的动态资源分配，支持高优、默认、低优作业筛选，实现资源的灵活调配。

2. 公有云资源优化：

   • 利用公有云按需实例和抢占实例，降低集群成本，达到资源利用的最大化。

3. 单机节点资源优化：

   • 引入弹性内存控制机制，通过Cgroup技术监控内存使用，预防内存溢出导致的容器失效问题。

4. 基线任务执行优化：

   • 通过作业管理平台优化基线任务的产出时间和优先级分配，确保关键任务快速获取资源。

扩展性与其他优化

1. YARN Federation：

   • 落地YARN Federation以适应多机房管理和提升大规模集群的稳定性和扩展性。

2. 资源管理与运维平台：

   • 构建集队列管理、资源优化、故障排查于一体的运维平台，提高资源管理效率。

3. 其他优化措施：

   • 引入Jstack dump机制、容器预执行机制等，增强系统稳定性和性能。

Yarn元仓建设

1. 经营数据分析：

   • 收集并分析不同类型作业在不同队列和集群的运行数据，为资源决策提供依据。

2. 数据链路构建：

   • 实现应用事件变更日志的记录和T+1产出详细数据表，支持实时分析和决策。

3. 弹性调度决策支持：

   • 通过元仓数据表提供资源量预估和作业类型分析，支撑弹性调度策略的制定。

未来规划

1. 离在线混部：整合在线和离线资源，提高资源使用效率。
2. 动态超卖：优化资源分配策略，解决静态超卖带来的问题。
3. 资源一盘棋：全面考虑资源分配与作业调度，实现资源高效利用。