TDSQL 新一代敏态引擎性能突破与多元应用场景

性能突破与多元应用场景 黄潇主讲人： 04 03 01 架构特点 性能突破 产品特性 业务场景 产品特性 TDSQLTDStore引擎介绍：产品特性 高性能计算与海量存储 强一致透明分布式 ⚫强一致：数据多副本存储，通过Multi-Raft协议同步日志，提供强一致容灾能力⚫兼容性：高度兼容原生MySQL语法，业务层无入侵⚫分布式：数据以Key Range打散和路由，业务层无须手动分库分表，支持MySQL单机业务无缝迁移 ⚫计算层：多主模式，每个节点均可同时读写，单实例支持千万QPS⚫存储层：采用LSM-Tree结构平衡了压缩、性能和成本，可有效降低70%~90%存储成本，适合TB~PB级海量存储 平滑弹性伸缩 原生Online DDL支持敏态业务 ⚫管控层：基于容器化平台的管控系统具备云原生能力，可一键弹性扩缩容，支持根据业务负载、容量进行弹性伸缩⚫内核层：提供几乎无限的存储和计算容量 ⚫支持在线加减列操作⚫支持在线加减索引，无需pt-osc/gh-ost外部工具⚫支持大部分DDL操作以Online方式执行 架构特点 TDStore引擎介绍：整体架构 TDStore引擎特点：一体化对等架构 计算模块SQLEngine ⚫完全兼容MySQL 8.0⚫多主架构，多点写入 存储模块TDStore ⚫基于LSM-Tree KV引擎⚫Multi-Raft分布式协议 一体化对等架构 TDStore引擎特点–存储的三层模型 数据对象 Replication Group ⚫数据同步单位，包含若干Region ⚫迁移、切主、分裂、合并 Region ⚫数据划分单位，Range分片，默认512MB 强一致透明分布式 ⚫无需分库分表，对用户透明⚫支持PB级海量存储⚫Multi-Raft强一致 TDStore引擎特点–基于数据感知的调度 ⚫相关数据相近分布，降低分布式事务比例⚫数据多副本反亲和性调度，实现容灾 TDStore引擎特点–基于数据感知的调度 ⚫相关数据相近分布，降低分布式事务比例⚫数据多副本反亲和性调度，实现容灾 TDStore引擎特点–基于数据感知的调度 ⚫相关数据相近分布，降低分布式事务比例⚫数据多副本反亲和性调度，实现容灾 TDStore引擎特点–基于数据感知的调度 ⚫相关数据相近分布，降低分布式事务比例⚫数据多副本反亲和性调度，实现容灾 TDStore引擎特点–基于数据感知的调度 ⚫相关数据相近分布，降低分布式事务比例⚫数据多副本反亲和性调度，实现容灾 业务场景 TDStore业务场景：历史归档/冷热分离 ⚫TB ~ PB级存储海量存储、弹性伸缩 低成本提供在线访问 ⚫LSM-Tree高压缩比存储⚫成本降低70% ~ 90%⚫支持在线查询 典型案例 ⚫充值历史记录（原HBase）⚫还款记录（原HBase） TDStore业务场景–海量日志流水数据 应用 PointGet 海量存储、弹性伸缩 ⚫TB ~ PB级存储⚫高压缩比存储⚫无需分库分表，单表百亿行以上 写入线性扩展 Multi-Raft强一致、高可靠 典型案例 ⚫发票日志流水（原TDSQL InnoDB） TDStore业务场景–敏态业务 无需分库分表、敏捷伸缩 SQL>SELECT*FROMtblWHEREctime > 1483200000ANDctime < 1483286400;/*32518859rowsinset7hours3min24.33sec*/ •写入可扩展性•主键和索引亲和分布 Schema灵活多变 •秒级Instant DDL•Fast Online DDL（非阻塞） SQL>SELECT/*+parallel(16)+/*FROMtblWHEREctime > 1483200000ANDctime < 1483286400;/*32518859rowsinset1hours18.38sec*/ 并行查询、算子下推 典型案例 •游戏用户活动数据 TDStore业务场景–数据中台/多维查询 ⚫TB ~ PB级存储海量存储、线性扩展 SQL查询简单易用 ⚫多维查询、数据一致性查询⚫支持全局唯一约束⚫并行查询、算子下推 高频Online DDL 典型案例 性能突破 Sysbench性能测试–测试环境 硬件环境 模拟场景 初始化256张表，每张表1千万条记录，单份数据存储在InnoDB中约600 GB Sysbench性能测试–测试结果 ⚫Hypernode对等架构、二级索引和主键数据的亲和分布尽可能降低了数据读取和写入时的网络开销 ⚫并行查询和算子下推则进一步提升了范围扫描、Group By聚合操作的查询性能 ⚫以下为压测到拐点时的性能数据