李建彪-汽车之家 IDC 多活实践之缓存同步实战指南

汽车之家容灾/双活建设介绍

汽车之家双活建设背景

• 背景：2023年7月亦庄机房故障导致公司大部分业务中断，为规避单机房故障影响，实施双活建设。
• 目标：RTO小于3分钟，RPO小于1分钟，保障核心业务连续性。

容灾架构思考

• 项目目标：以合适成本满足建设目标，兼顾未来扩展性，路线为同城双中心 -> 两地三中心。
• 定性目标：防止单机房故障影响核心读业务。
• 定量目标：RTO小于3分钟，RPO小于1分钟。

之家双活建设

• 双活范围：围绕看、选、买、用梳理场景落地双活。
• 双活实施：从机器梳理、场景梳理开始，推进架构改造，完成有效性验证。
• 依赖检查：确保系统间依赖关系明确。
• 缓存双活：应用、中间件配置+数据结构实时同步，消息、缓存数据按需同步。
• 故障演练：验证双活架构有效性。
• 效果保鲜：持续优化双活效果。
• 流量改造：实现流量自动切换。

同城双活架构

• 架构说明：双机房接收流量，无状态节点对等部署，有状态节点主从双边部署或独立双边部署+工具数据同步。
• 数据同步：应用、中间件配置+数据结构实时同步，消息、缓存数据按需同步。
• 容灾切换：流量负载均衡、自动故障发现及转移，通过DNS解析切换中间件。
• 编排动作：主从模式集群人工切换，分布式集群自动切换。

缓存同步工具适用场景

• 场景1：容忍短暂(20~100ms)缓存不一致的双活业务场景。
• 场景2：适用于需要高可用缓存同步的场景。

之家缓存同步工具核心技术解析

• 问题描述：现有缓存同步工具存在代码不可控、侵占专线、能力局限等问题。
• 自研方案：AutoSync-Redis (ASR)。
• 关键技术：协议分析、模拟，全量/增量同步，避免全量同步，大Key处理，Kafka中转站，限流机制。
• 概念定义：ASR-Producer模拟Slave端Producer，ASR-Consumer消费Kafka中Redis指令。
• 协议模拟示例：展示协议模拟过程。
• 全量同步、增量同步：全量同步步骤包括数据拉取、解析、过滤、发送；增量同步实现断点续传。
• 避免全量同步：通过配置延长复制超时时间等避免全量同步。
• 消息顺序、大key处理、限流：分片设计保证消息顺序，Redis算法保证相同key执行顺序，限流机制优化性能。
• 消息数量check：同步场景中key数量差异不可避免，通过定时Scan命令监控重要业务数据。
• 延迟优化：聚合相同Partition消息减少不必要的消耗，RDB同步时间节省55%，AOF延迟保持在100ms以内。

之家缓存同步平台建设

• 任务调度平台：建设统一任务调度平台管理多同步任务。
• 可观测架构：基于云原生可观测云平台搭建缓存同步工具可观测体系。
• 故障恢复：实现快速故障恢复。
• 整体架构：展示缓存同步平台整体架构。

缓存同步工具性能测试

• 全量同步测试：廊坊→亦庄2分区，8g数据6分钟，108g数据27分钟；亦庄→廊坊8g数据8分钟，108g数据30分钟。
• 增量同步测试：廊坊→亦庄每秒写入<500key，TP95：8.9ms；亦庄→廊坊每秒写入<500key，TP95：10.7ms。
• 对标三方服务：10G同步耗时3-8分钟，120G同步耗时20-30分钟。

产品展示

• 消费者节点详情：展示消费者节点详细信息。
• 可观测：展示可观测体系。

后续工作

• 探索双向同步方案：解决回环问题，添加集群标识、同步消息元数据扩展。