王华- 云原生混合算力助力计算加速

大数据资源使用现状与混合算力部署方案

资源利用率问题

当前企业大数据资源使用存在以下问题：

1. 资源利用率低：集群整体资源使用率低，存在资源冗余，尤其存储冗余。由于存储与计算比例不定，算力扩充时易导致存储冗余。
2. 资源潮汐现象：为了应对未知资源增量及紧急需求，企业需提前规划冗余部分，但资源利用率低，存在资源占而不用的情况。
3. 在线容器化应用资源利用问题：如何在控制成本的同时充分利用在线和离线资源进行计算加速，是当前面临的挑战。

大数据混合算力部署方案

基于容器化的离在线混合部署

• 大数据业务存储类业务支持云原生计算框架：以YARN作为容器化的基础，在容器中部署YARN-NM，兼容Spark、MapReduce等作业。
• 存储类业务：如HDFS，依赖硬件资源稳定性，不适合部署在Pod中。
• 支持云原生的计算框架：如Spark、Presto，可充分利用容器资源进行计算。
• 未支持云原生的计算框架：如MapReduce，在大数据应用中占比较高。

离在线混合部署目标

• 开发部署YARN-Operator：管理Pod生命周期，创建/销毁Pod，离线Pod最低优先级（BestEffort），Operator高可用。
• 离线混合部署方案：通过YARN-Operator管理离线资源，实现资源的高效利用。

异构资源计算加速任务稳定性

• 异构资源定义：包括离线集群资源（CVM）和在线集群容器资源（Pod）。
• 改造必要性：存在中枢进程AM（Application Master），宿主机负载达到阈值时，优先级低的Pod资源会被驱逐，若有AM在该Pod上，整个任务全部挂掉。
• 解决方案：在ResourceManager（RM）中增加NodeFilter模块，由AM自主选择存储介质，提升任务稳定性。

提升共享分区资源使用率

• 改造原因：原生Yarn提交APP时只能指定单个标签，无法同时使用多个分区资源，且只支持default分区的任务可以使用共享分区的资源，破坏资源分区隔离性。
• 解决方案：在RM中增加标签解析器和资源计算器，扩展Yarn标签表达式语法，实现多标签动态分配资源，保障资源隔离和自由共享。

混合算力自动弹性能力

资源扩容问题

• 业务负载手动扩容：传统企业需要进行资源评审、运维流程，等待资源就位，被动响应，支持滞后。
• 资源浪费：扩容后资源无法及时回收。
• 挑战：按负载情况扩容，快速响应紧急算力需求。

自动伸缩感知触发

• 数据采集问题：监控指标多（30+组件，2000+监控指标），低延迟（采集周期30s），限制资源占用，采集稳定性。
• 解决方案：基于LSM-Tree顺序写，异步采集、去锁、复用、零拷贝，数据压缩，批量数据传输，调整进程优先级。

自动伸缩感知触发方案

• 数据存储&查询加速：通过CKafka进行数据缓存和解耦，Flink对数据进行清洗加工，上层业务根据不同查询请求不同数据表，加速查询。
• 数据安全性&服务稳定性：指标数据跨地域容灾备份，保证数据安全性；底层存储异常时上层服务自动熔断降级切换到备集群。

自动伸缩扩容加速

• EKS扩容更快：同等规格EKS和CVM节点，EKS扩容效率更高，CVM初始化动作耗时较长，机器规格越大，扩容数量越多，扩容速度差距越大。
• CVM性能稍好：扩容相同规格节点后，CVM节点的性能比EKS节点性能稍好，但整体性能差距不大。

腾讯云EMR自动扩缩容

• 多种资源类型：支持TKE、EKS、CVM、竞价实例。
• 伸缩类型：负载伸缩、时间伸缩。
• 支持优先级：支持多种资源优先级，支持多种伸缩规则优先级。
• 失败实时告警：支持失败实时告警。

混合算力计算加速落地实践

• 落地实践：涉及客户数据，此处省略。
• 总结：通过混合算力部署方案和自动弹性能力，企业可以有效提升资源利用率，实现计算加速，满足业务负载需求。