邓瑞龙作为作业帮SRE负责人,主导了公司的多云多活建设和云原生转型。核心背景包括单云稳定性不足、业务规模庞大、成本控制需求等。
多云选型需求背景:单云基础设施故障频发,无法满足教学经营场景的高稳定要求;业务已达到数千模块、数十万核计算资源,具备复杂化和规模化特征;单云部署成本优化手段有限。
多云建设要点:采用多云模型,关键技术要点包括双环组网实现多云互通、计算管理套餐抽象、服务管理、流量管理、观测管理等。
多云运维熵增:基于熵增定律,运维需通过技术架构和工程化维持系统有序性,多云运维同样面临熵增挑战。
多云管理实践:
- 资源管理:双环组网实现多云互通,计算管理采用套餐抽象。
- 服务管理:业务域名多,通过绕开LocalDNS自建DoH解决传统DNS问题。
- 流量管理:流量管理面临挑战,需通过技术手段优化。
- 观测管理:建立多云观测三大支柱,实现宏观定位和微观排查。
- 业务问题评价:采用多维评价和排榜赛制,通过差距驱动改进。
- 操作管理:建立多云操作变更模型和风险管控机制。
多云操作熵增挑战:通过正向工程和混沌演练,简化故障模型,实现规模运维。
多云转型总体收益:
- 掌控云选择权,增强议价能力。
- 大促后可直接缩容退还机器,降低成本。
- 京郊AZ部署大幅降本。
- 部分业务流量均摊到多云,单云故障可接受X%损失。
- 服务多活部署,具备分钟级故障逃逸能力。
- DevOps技术加持,小团队也能运维复杂化规模化业务。
多云建设未来规划:持续优化多云环境,提升运维效率和服务能力。