小红书云原生架构的演进 - 贺晋如

小红书云原生架构演进总结

小红书云原生发展历程

• 2018年：开始容器化部署，离线训练容器化
• 2020年：机器学习平台开始容器化部署
• 2021年：搜广推在线业务容器化改造，开启在离线混部试点
• 2022年：微服务Serverless化，Serverless平台搭建并改造近线、在线业务

面临的问题

• 容器化程度高但云原生化低
• 集群利用率低（低于其他互联网公司）
• 未实现完整的多集群管理能力
• K8S版本碎片化严重
• 缺乏专门的容器研发团队

核心思考

• 提升研发和运维效率
• 提升资源效能，用更少资源支撑更多业务
• 支持容器基础设施和业务架构升级为云原生

容器架构核心能力

• 统一资源入口：以容器为最小部署单元，简化资源使用流程
• 高效服务管理：基于K8s构建服务管理与发布平台，支持一键运维操作
• 资源管理策略：通过在离线混部、超卖等技术提升集群利用率

容器架构核心技术

• CPU精细化调度：自研调度方案替代原生机制，支持离线训练和在线服务
• 动态资源超卖&混部：通过资源画像、超卖控制器和巡检解决热点问题
• 混部质量保障：通过CPU约束、内核优化和koordinator项目保障高优业务质量
• 弹性伸缩：自研fed HPA支持多种探测策略（CPU/内存、定时、自定义指标、预测）
• 多级调度：实现服务QoS资源保障，支持跨集群调度（集群/节点/服务）

收益

• 大幅增强多区域容灾与多活能力
• 支持近离线服务0计算成本运行
• 资源管理能力达到业界高水平

未来发展

• 算力归一化
• 大规模资源精细化运营
• 推动存储、微服务治理、搜推广等服务云原生架构升级