苗永昌-字节跳动 Kubernetes 集群2w+节点性能优化实战

字节跳动云原生混合云架构实践总结

字节跳动云原生发展介绍

• 字节跳动已实现全面云原生化，拥有100,000+在线微服务，平均每日变更数30,000次，离线任务数140M+。
• 最大集群节点数达20,000，900,000+节点规模，500+生产集群，基础设施深度云原生化。
• 通过云原生混部技术，大规模节省企业资源成本，为前线业务提供稳定性保障。

基础设施优化和开源实践

问题与挑战

• Kubernetes集群规模快速增长，节点持续增多，离线/AI场景容器化对集群性能提出更高要求。
• K8S控制面关键组件性能受限，官方稳定规模5k节点，集群压力集中在APIServer、etcd等。

社区优化手段

• 集群治理：横向扩展（集群联邦）、纵向扩展（性能优化）。
• 组件参数调优：Agent访问优化、容量规划、限流。

字节跳动控制面关键优化

• APIServer缓存优化：Cache NotReady优化、缓存穿透优化。
• 硬件升级：控制面升级机器规格、etcd存储硬件升级。
• KubeGateway：多集群高可用API路由层，提供流量治理能力。
• Godel-Scheduler：自研在离线融合调度器。
• KubeBrain：自研元信息存储服务，支持5万Node、百万Pod容量。
• Controller Manager：拆分部署，横向扩展Informer cache index。

KubeGateway & KubeBrain

KubeGateway

• 问题：传统方案（Nginx、SLB）存在请求负载不均衡、缺乏治理灵活性、连接数无法收敛、缺乏通用网关能力等问题。
• 解决方案：七层负载均衡，支持HTTP请求级别负载均衡，解决kube-apiserver负载不均衡问题。
• 架构：代理kube-apiserver请求，提供路由、认证、限流、降级等功能。
• 请求过程：请求解析/路由匹配、用户认证、流量治理、反向代理、Impersonate、HTTP2多路复用。
• 落地效果：平滑接管所有集群，性能优异，彻底解决kube-apiserver流量不均衡问题，增强请求治理能力。

KubeBrain

• 特点：统一抽象逻辑层KV存储引擎接口，实现解耦，支持无状态、扩展性、高可用、水平扩容。
• 优势：读写性能大幅提升，支持分片，解决主单点写问题。
• 3.0版本：引入proxy架构，支持无限水平扩展，提高通用性。
• 落地效果：压测吞吐提升10倍（纯写）/4倍（读写混合），事件吞吐提升5倍，支持5w Node和200w Pod，生产环境稳定支持2.1w Node。

其他优化

• 集群治理和组件开发规范：包括日志观测、APIServer访问、Operator开发、容量管理等。
• APIServer内存优化：Event对象查询优化、informer分片。
• 容器实例部署密度提升：提升kubelet、runtime、csi、cni、cgroup内核等性能和能力。