汪喆-最新-字节跳动资源画像和时间序列预测的运营实践

字节跳动云原生资源效能提升方案

集群资源运营

提升部署密度与弹性伸缩

• 部署密度提升：通过分时复用和弹性伸缩技术，优化资源利用率。
• 弹性伸缩：实现分时复用，应对业务流量波动。

潮汐混部与常态混部

• 离线常态混部：在离线场景下实现混部，提高资源利用率。
• HPA/PA混部：结合HPA和PA进行混部调度。

资源超分与规格推荐

• 资源超分：通过Webhook拦截并修改节点资源，实现业务无感的资源超分。
• 规格推荐：基于历史数据和实时利用率，给出合理的规格推荐，提升集群装载率。

资源稳定性与真实负载调度

• 资源稳定性：通过真实负载调度，规避未来可能出现的负载高峰和节点异常负载场景。
• 真实负载调度：结合应用长周期和节点短周期时序预测数据，提升调度计算准确性。

拓扑感知调度

• 拓扑感知调度：减少集群资源碎片，提高资源利用率。

时间序列预测与资源画像

• 时间序列预测：利用ATFNet和IPOC算法，结合分解集成思想，适应不同工作负载模式。
• 资源画像：提供统一的抽象资源/接口，便于应用对接，并与ByteBrain服务和时序预测系统结合获取预测结果。

时序预测在效能提升中的应用

动态超分

• 热插拔：通过Webhook拦截并修改节点资源，实现生产集群热插拔。
• 动态超分：基于负载时序预测数据实现更精确的超分预测，结合实时数据进行异常负载校正。
• 干扰检测：增加节点CPU load、内存回收速率等干扰检测维度，提供禁用调度、驱逐等缓解措施。

真实负载调度

• 原生策略：基于资源申请量调度，无法感知实际负载，无法调节集群负载水位。
• 真实负载调度：结合应用长周期和节点短周期时序预测数据，提升调度计算准确性，并配合规格推荐、超分等运营手段，保证集群负载稳定性。

智能HPA

• 时序数据预测：根据时序序列预测数据，解决业务流量突发和资源扩缩容响应滞后问题。
• 免运维：传统HPA和cronHPA面临弹性滞后和配置复杂问题，智能HPA（IHPA）应运而生。
• 数据驱动：基于历史维度资源用量或业务指标，结合时序推荐算法训练副本数推荐模型。
• 系统架构：包括IHPA Resource、IHPAController、ByteBrain和HPAResource，实现弹性管理。
• 收益：资源收益节约45%，运维收益成本降低90%。

规格推荐

• 智能规格推荐：针对指定工作负载，结合历史资源画像和实时利用率，给出合理规格推荐。
• 资源画像：基于历史维度CPU、内存、磁盘、网络资源消耗，训练迭代资源画像模型，预测负载资源需求趋势。
• 资源规格自动修正：通过Webhook根据推荐规格修改服务发布时的request值，提升集群装载率。
• 系统架构：包括Resource-Recommend-Controller、OOM-Recorder、Resource-Webhook和Flavor-Analyzer。
• 应用收益：天级OOM报警数下降408（占比6%）-> 0，天级资源相关报警数由5k（占比75%）-> 0。

未来展望

• 常态混部：进一步优化常态混部技术。
• 异常检测：增强异常检测能力。
• 服务质量体系：建立完善的服务质量体系。
• 社区开源：将技术开源，回馈社区。