姜逸坤- Spark + Volcano：为 Spark on Kubernetes 提供更完善的调度能力！

Spark on K8S现状与发展

• Kubernetes在Spark资源管理领域的贡献和关注度持续上升，超越Yarn和MESOS。
• Spark on K8S发展历程：2016年提交第一PR，2017年正式合入Spark 2.3，2020年移除实验标记，2021年Kubernetes正式GA。
• 主要方案：Native Spark App in K8S和Spark on Kubernetes Operator。
• Apache Spark 3.x版本对Kubernetes的增强：
  • 3.0：提升稳定性，支持自定义Pod模板、动态分配、Kerberos支持等。
  • 3.1：Kubernetes GA，支持NFS卷挂载、动态PVC创建、Python依赖等。
  • 3.2：易用性和可扩展性增强，升级Kubernetes client、支持远程模板文件等。
  • 3.3：调度能力提升，支持自定义调度器、资源预留、优先级调度等。

Spark 3.3 自定义调度支持

• HPC、大数据、AI批处理计算趋势：从单一作业平台向多租户混部发展，技术栈向云原生演进。
• SPIP：Support Customized Kubernetes Schedulers于2022年1月投票通过，Volcano作为参考实现进入主线。
• Spark自定义调度支持：
  • 框架能力：新增配置项、工作流、开发者API、注解占位符等。
  • Volcano部分：新增Profile、Kubernetes客户端扩展、Feature Step、集成测试等。
• 支持指定自定义调度器：通过配置spark.kubernetes.scheduler.name指定Volcano。
• 新增能力：
  • 创建预置资源：在Driver Pod之前创建资源。
  • 动态加载Feature Step：支持配置Feature Step。
  • 注解占位符：支持APP_ID和EXECUTOR_ID占位符。

Spark 3.3 Volcano集成设计与实现

• Volcano整体架构特性：面向高性能负载的调度策略、多种作业生命周期管理、支持异构硬件、性能优化。
• Volcano批量调度能力：以Pod Group为单位调度，支持队列、多租户、多队列优先级、更多K8S原生资源支持。
• Spark + Volcano用户接口：
  • 指定自定义调度器：spark.kubernetes.scheduler=volcano。
  • 指定自定义Feature Step：spark.kubernetes.driver.pod.featureSteps和spark.kubernetes.executor.pod.featureSteps。
  • 指定调度 hints：spark.kubernetes.scheduler.volcano.podGroupTemplateFile。
• 新增Profile：-Pvolcano用于构建所有Volcano相关类。
• Volcano Java/Scala SDK：与Kubernetes资源创建体验一致。
• 更灵活的配置项：通过PodGroup Templates配置调度参数。
• Volcano专属的Feature Step：为Pod和Pod Group添加特定注解。

Demo演示

• Volcano实测结果：Spark-sql-perf测试中，性能提高约30%。
• 集成测试：所有现有测试通过。
• 队列能力展示：
  • Case 1：创建2个队列，1个开启1个关闭，4个Job中2个成功2个Pending。
  • Case 2：创建2个开启队列，4个Job全部成功。
• 资源预留能力展示：资源预留功能防止集群死锁，所有Job依次成功。
• 优先级调度能力展示：3个Job按高、中、低优先级顺序依次成功。
• 新增CI：Spark + Volcano IT在Volcano社区PR合并前进行检查。