李鹤-如何稳定高效地利用 k8s 集群资源

Shopee云原生技术实践总结

公司背景

Shopee作为东南亚、台湾、巴西领先的电子商务平台，拥有强大的品牌认知度和持续增长的用户规模，在Google Play所有购物App中用户总花费时间排名第一，平均月活排名第二，品牌认知度位列第五。

个人简介

李鹤，kubernetes核心成员（karmada member），自2016年v1.4版本起参与Kubernetes开发，专注于集群管理、编排调度和资源利用率优化。GithubID: likakuli，订阅号：云原生散修，博客：https://www.likakuli.com。

核心内容

数据驱动优化

1. 浪费量化

   • 通过队列理论分析延迟和利用率，识别资源碎片化（Fragmentation）等问题。
   • 量化资源浪费比例，建立数据基准。

2. 风险量化

   • 评估调度和驱逐操作的风险，确保系统稳定性。

3. Insight Store

   • 构建数据洞察平台，可视化资源使用情况和风险指标。

能力增强

1. 调度与重调度

   • 实现混部调度，基于时区和服务等级协议（SLO）差异化混部。
   • 混部策略：forevery usage class: sum(usage of all pods) ≤ node.Allocatable * safety threshold。

2. 资源预测

   • 短期预测关注周期性和季节性模式，长期预测关注趋势，提高数据准确性。
   • 预测目标：降低驱逐概率，快速响应资源骤减或突增场景。

3. 弹性伸缩

   • 长期预测数据缓存在调度器中，支持动态伸缩决策。

关键结论

Shopee通过数据驱动的方法优化资源利用率，结合混部调度和智能预测技术，显著提升了系统的弹性和稳定性，为高并发电商场景提供了技术支撑。