3-陈阳-B站大型活动背后的数据库保障

全球敏捷运维峰会广州站数据库保障方案总结

一、业务场景与活动背景

• 业务场景：直播类（高并发、热点数据）、游戏类（性能要求高）、点播类（可用性要求高）、电商类（数据一致性、热点数据）
• 大型活动历史：2019建国70周年、2020S10全球总决赛、2021最美的夜（峰值2.5亿）、2020拜年祭、2019跨年晚会
• 核心活动：2021S11全球总决赛（全网最大流量直播赛事）

二、数据库选型与压测准备

• 高并发写入场景选型：分库分表 vs 分布式数据库（需考虑数据量可预估性、业务分片键、分布式事务、P999响应时间、弹性伸缩）
• 数据准备：
  • 水位线评估指标：物理资源、QPS/TPS、P999响应时间、慢查询、bufferpool命中率、IOPS
  • 方法：克隆集群/原集群压测、影子库（连接数翻倍）、影子表（压测流量识别+SQL改写）、后台异步数据清理

三、全链路压测与应急预案

• 全链路压测：
  • 关键词：全链路跟踪、混沌工程
  • 压测报告核心内容：指标覆盖、慢环节定位、应急预演、下游系统压力评估
  • 墨菲定理：考虑最坏情况
• 应急预案设计：
  • 必须包含：适用场景、触发阈值、操作人员、影响范围、执行步骤
  • 注意事项：场景界限清晰、启动条件明确、影响评估（正负面）、步骤简化、前置判断、定期Review

四、应急预案核心策略

• 数据库快速扩容：
  • MySQL：写/读请求扩容
  • TiDB：TiDB层/TiKV层扩容
• 异常流量拦截：
  • SLB/Proxy层拦截
  • SDK层拦截（BadSQL、爬虫、缓存击穿、不合理重试）
• 降级与切流：
  • 刷盘策略降级、业务请求降级
  • 实例/AZ/Region级别切流
• 限流策略：
  • 代理层：固定窗口、滑动窗口、漏斗/令牌桶算法（分布式）
  • 数据库层：max_connections、max_user_connections、innodb_thread_concurrency、innodb_concurrency_tickets
• 熔断机制：断路器状态（关闭/打开/半打开）

五、多活设计

• 同城多活：
  • 读请求本Zone闭环，写请求访问主Zone
  • 通过DBProxy自动路由
• 异地多活：
  • 读写本单元闭环，需业务单元化改造
  • DBProxy：多Region路由+全局发号器
  • DTS组件：双向同步+冲突检测

六、典型场景应对策略

• 连接数打满、主从复制延迟、缓存击穿、慢查询雪崩、意外宕机

七、保障流程与异常管理

• 保障流程：
  • 作战室：快速响应决策
  • 指标大盘：核心指标监控
  • 定期同步：异常预警
  • 提前决策：趋势预判
• 异常情况处理：
  • 新手：慌乱无序
  • 老司机：评估影响→预案止损→逐步定位根因

八、故障诊断方法论

• 假设-排除模型：
  • 知识体系构建
  • 条件反射训练
  • 快速验证
  • 监控数据倒推
  • 代码逻辑分析
  • 验证性变更
  • 复现验证

九、复盘与优化

• 活动回顾：结果数据+过程指标
• 核心指标分析
• 问题汇总+预案执行情况
• 经验总结：亮点/不足/优化方案
• 长期监控数据保留