许龙-B站容器平台混部和容量管理实践

B站容器平台混部和容量管理实践

混部场景实践

• CPU在离线混部

  • 场景：在线+视频转码、在线+大数据
  • 难点：调度、QoS保障、资源隔离
  • 实践：使用Volcano调度器，动态计算可混部资源，配置混部大框和资源隔离（CPU、内存、网络）

• CPU潮汐混部

  • 场景：推搜+大数据
  • 特点：资源使用波动大
  • 实践：自定义HPA策略，实现正向和反向潮汐

• GPU混部

  • 场景：推理+编解码、推理+训练
  • 实践：卡切分粒度1%，支持多卡调度，内核隔离

容量管理实践

• 弹性伸缩

  • VPA（基于服务等级）、HPA（支持定时扩缩）
  • 基础：合理设置资源请求和限制，自动调整资源分配

• 合池

  • 目的：整合资源，提高利用率
  • 挑战：标准化治理，资源规格多样化

• 基准核与配额管理

  • 标准化算力，优化资源分配
  • 配额管理系统：可视化管理各级配额，支持变更审计

• 可视化监控

  • 多维度报表：节点、资源池、集群、应用等
  • 容量事件与巡检：实时监控和告警

总结

B站在容器平台混部和容量管理方面进行了深入探索，通过精细化资源调度、弹性伸缩和统一管理，显著提升了资源利用率和业务稳定性。未来将进一步优化合池调度，推进混合云环境下的弹性伸缩能力，持续增强内核层的隔离能力。