MogDB Cube 数据库一体机架构解析与创新实践

MogDB Cube数据库一体机架构解析与创新实践 张程伟云和恩墨·本原数据技术合伙人 数 据 库 的 架 构 选 型 •数据按照Shard划分，节点资源独立，读写负载水平扩展，满足大规模业务场景性能需求•典型场景RTO < 30s，并且仅部分业务受损•损失部分单机数据库的能力•支持快速扩容，适用于敏态业务场景•TiDB,CockroachDB •基于数据库日志复制保证高可用，典型场景RTO < 30s•单机能力满足大部分业务性能需求•经典成熟方案，适用于稳态业务场景•Oracle, DB2,MySQL,MogDB •通过多节点集群方式，实现极致的高可用能力，典型场景RTO < 10s•采用共享存储方式，提供多写多读或一写多读能力，一定的扩展能力•完全继承单机数据库的能力•专业存储处理磁盘故障及亚健康问题•适用于对高可用敏感的核心业务场景•Oracle RAC,MogDBCube S h a r eS t o r a g e架 构更 适 合 国 产 数 据 库 平 替 •集中式架构能满足90%以上的业务性能需求 •更低的业务改造成本 •数据库运维 •RTO时间更短 ü数据库主备节点间不用复制日志，故障切换时回放日志量更少•更专业的存储管理系统，相比数据库自己管理服务器本地盘，提供更高的可靠性ü磁盘亚健康管理、故障点灯、磨损均衡、故障盘重构、盘FW升级ü单盘故障、IO Hang等错误对数据库几乎无感，避免主备切换 üIOE时代，90%问题运维人员可以自己解决，10%问题求助原厂，分布式数据库，90%问题需要原厂分析； üShare Nothing架构很难完整继承单机能力，如外键、存储过程等ü业务需要改造，设置合理的分片键 ü大行1万~3万TPS，股份制银行2000~5000TPS，城商行1000TPS左右 •针对不同负载优化 •更高的性能密度 •存储运维 ü本地盘故障，由数据库厂家负责，还是OS厂家负责，还是盘厂家负责？ü盘故障自动隔离，跳过故障盘继续使用，长时间免运维 ü更少的节点数量，更少的License费用，更少的机柜空间，更节能 üData Shipping forOLTP，减少网络开销以及分布式事务2PC开销，时延更低；üFunction shippingfor OLAP，和sharenothing架构类似 •计算和存储独立扩容 ü存储扩容不会绑定计算也扩容（一主多从、软件License费用） M o g D B C u b e架 构 ： 两 层 池 化+数 存 融 合 内存池化+存储池化 数存融合 •自研数据库专用存储zStorage，单节点50万IOPS@0.8ms•专业磁盘故障及亚健康管理，磁盘故障重构性能15min/TB•IO全局打散，聚合更大IO带宽，相比本地盘提升50%•8KB原子写，去除双写代价•高优先级处理日志IO•IO Fence，避免双主问题•可写快照，快速克隆数据库 •数据库主备节点无日志GAP，50万TPMC下RTO<10s•数据库节点共享一份数据，降低50%存储成本•备机实时强一致读，读写分离提供读扩展能力•多节点并行查询，TPC-H性能提升150%•计算/存储资源独立按需扩容，分钟级扩容备节点 M o g D B C u b e架 构 ： 内 存 池 化 •将不同节点的Shared Buffer整合成分布式全局缓存Cache Fabric，并使用分布式锁技术解决资源（页面和锁资源）的一致性访问问题； •数据库主备节点间不再复制xlog日志，而是通过RDMA从主节点获取页面资源，也就不存在主备节点间的日志GAP，即使在负载压力较大时仍能保证RTO<10s；•备机提供实时一致性读能力，支持对数据一致性敏感的业务负载从单个节点透明扩展到多个节点； M o g D B C u b e架 构 ： 存 储 池 化 M o g D B C u b e架 构 ： 数 存 融 合 去除数据库双写代价 •线程绑核，避免操作系统调度线程开销，保障关键业务时延•NUMA Aware，减少内存访问锁冲突开销，提升性能•RAFT多数派机制，在保证数据可靠性的前提下降低时延•高速协议优化，NVMeOF协议，RDMA网络，NVMeSSD 优化事务提交性能 O LT P场 景 ：5 0万T P M C压 力 下 达 成R TO < 1 0 s 驱动：数据库节点角色自动发现，探活及重连 IO级高可靠 实时数据校验端到端保证数据正确性 所有硬盘参与重构每TB只需15分钟 O L A P场 景 ： 大 容 量 混 合 负 载 下 性 能 提 升1 5 0 % 读扩展能力 在一主两备架构下，多机并行查询可以使TPC-H总性能提升150% 简 单 易 用 ： 数 据 库 、 存 储 、 网 络 全 栈 管 理 某 客 户 联 创 方 案 ： 全 栈 国 产 化 ， 双 集 群 容 灾 背景 •客户积极响应国家战略，深化XX应用技术国产化•在XX核心系统国产化之后，持续深入推进全栈国产化•针对XX核心系统，展开基础设施和数据库国产化平替的探索和实践 整体方案 •生产中心和灾备中心各采用一套MogDBCube一体机（2个数据库节点+ 3个存储节点），承载两套核心业务系统，同机房主备高可用；•生产中心和灾备中心采用xlog日志同步复制，确保达成容灾等级要求 客户收益 M o g D B C u b e数 据 库 一 体 机 谢 谢 观 看