TDSQL TDStore引擎介绍与业务场景
架构特点
TDStore引擎介绍：产品特性
- 高性能计算与海量存储：
- 计算层：多主模式，单实例支持千万QPS，每个节点均可同时读写。
- 存储层：采用LSM-Tree结构，平衡压缩、性能和成本，降低70%~90%存储成本，适合TB~PB级海量存储。
- 强一致透明分布式：
- 强一致：数据多副本存储，通过Multi-Raft协议同步日志，提供强一致容灾能力。
- 兼容性：高度兼容原生MySQL语法，业务层无入侵。
- 分布式：数据以Key Range打散和路由，业务层无须手动分库分表，支持MySQL单机业务无缝迁移。
- 平滑弹性伸缩：
- 管控层：基于容器化平台的管控系统具备云原生能力，可一键弹性扩缩容，支持根据业务负载、容量进行弹性伸缩。
- 内核层：提供几乎无限的存储和计算容量。
- 原生Online DDL支持敏态业务：
- 支持在线加减列操作。
- 支持在线加减索引，无需pt-osc/gh-ost外部工具。
- 支持大部分DDL操作以Online方式执行。
TDStore引擎介绍：整体架构
- 一体化对等架构：
- 计算模块：SQLEngine，完全兼容MySQL 8.0，多主架构，多点写入。
- 存储模块：TDStore，基于LSM-Tree KV引擎，Multi-Raft分布式协议。
TDStore引擎特点：一体化对等架构
- 存储的三层模型：
- 数据对象：Replication Group（数据同步单位，包含若干Region）。
- Region（数据划分单位，Range分片，默认512MB）。
- 强一致透明分布式：
- 无需分库分表，对用户透明。
- 支持PB级海量存储。
- Multi-Raft强一致。
- 基于数据感知的调度：
- 相关数据相近分布，降低分布式事务比例。
- 数据多副本反亲和性调度，实现容灾。
业务场景
TDStore业务场景：历史归档/冷热分离
- 海量存储、弹性伸缩：
- TB ~ PB级存储。
- LSM-Tree高压缩比存储，成本降低70%~90%。
- 支持在线查询。
- 典型案例：
- 充值历史记录（原HBase）。
- 还款记录（原HBase）。
TDStore业务场景–海量日志流水数据
- 应用：
- PointGet：海量存储、弹性伸缩，TB ~ PB级存储，高压缩比存储，无需分库分表，单表百亿行以上。
- 写入线性扩展，Multi-Raft强一致、高可靠。
- 典型案例：
TDStore业务场景–敏态业务
- 无需分库分表、敏捷伸缩：
- 写入可扩展性。
- 主键和索引亲和分布。
- Schema灵活多变：
- 秒级Instant DDL。
- Fast Online DDL（非阻塞）。
- 典型案例：
TDStore业务场景–数据中台/多维查询
- 海量存储、线性扩展：
- TB ~ PB级存储。
- SQL查询简单易用。
- 多维查询、数据一致性查询。
- 支持全局唯一约束。
- 并行查询、算子下推。
- 典型案例：
性能突破
Sysbench性能测试–测试环境
- 硬件环境：
- 初始化256张表，每张表1千万条记录，单份数据存储在InnoDB中约600 GB。
- 模拟场景：
- 初始化256张表，每张表1千万条记录，单份数据存储在InnoDB中约600 GB。
Sysbench性能测试–测试结果
- Hypernode对等架构、二级索引和主键数据的亲和分布尽可能降低了数据读取和写入时的网络开销。
- 并行查询和算子下推则进一步提升了范围扫描、Group By聚合操作的查询性能。
- 以下为压测到拐点时的性能数据。
