张云尧 - 火山引擎云原生大数据在金融行业的实践

金融行业大数据场景对云原生系统的需求主要体现在资源高效利用、便捷运维和作业调度能力上。云原生大数据部署主要采用两种方式：Serverless YARN 和 Arcee Operator。Serverless YARN 基于云原生的 YARN 解决方案，保留原有功能并新增远程调度和单机服务，性能优化显著；Arcee Operator 借鉴 YARN 两级管理模式，实现统一作业实例和异常处理，对比其他方案更具优势。云原生大数据调度采用三层资源管理：Reslake 统一资源湖、GRO Scheduler 集群调度和 GRO Agent 单机调度。GRO Scheduler 支持 Quota 管控、高级调度策略和高效 Pod 放置，调度吞吐可达每秒上千个 Pod；GRO Agent 增强隔离性和支持在线 SLA 保障，同时实现闲置资源利用。ResLake 提供全局虚拟队列、Quota 管控、存储资源调度和作业容灾能力，支持迁移、多活和高可用容灾。云原生大数据解决方案通过精细作业管理和高效资源管理，提升资源利用率，节约成本，适用于金融行业云原生大数据场景。