TiExplorer：持续探索 TiDB 的理由 & 新版本亮点速递

严少安｜TiDB社区版主、大连水云科技架构师 一、个人介绍 二、持续探索TiDB的理由 三、TiDB V8新版本亮点速递 四、深度参与TiDB社区的感受 社区： 文档：Doc Dash 2024, 1st Place 源码:TiDBContributor github.com/pingcap github.com/tikv github.com/tikv TiKV的核心存储引擎使用RocksDB，用于存储Raft日志以及用户数据。RocksDB是由Facebook基于LevelDB开发的一款提供键值存储与读写功能的LSM-tree架构引擎。TiKV-8.5.0, RocksDB 8.10TiKV-6.2.0,RocksDB6.29TiKV-4.0.0,RocksDB6.4 用好开源项目，回馈开源项目，做好开源项目 亚洲中国日本新加坡印度 非洲Benin贝宁Swaziland斯威士兰王国尼日利亚 北美洲美国加拿大多米尼加 大洋洲澳大利亚新西兰 南美洲Peru秘鲁Chile智利 欧洲英国法国德国 ——全球七大洲，除了南极洲企鹅贡献不了代码之外，其它六大洲都有贡献者 https://asktug.com/ 2024年1月2日，PingCAP上榜工业和信息化部官方微信工信微报《我们这一年：图说2023年工业和信息化发展情况》报告，被评为“具有国际影响力的开源社区”。 https://asktug.com/ 四书：两本电子书，两本实体书 •电子书《TiDB 6.x inAction》、《TiDB 4.xin Action》•实体书《与开源同行》、《敬请期待》 二、持续探索TiDB 1.安装TiDB Operator kubectl apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.6.0/manifests/crd.yamlhelm repo add pingcap https://charts.pingcap.org/helm install tidb-operator pingcap/tidb-operator --version v1.6.0 2.部署TiDB集群 kubectl apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/master/examples/basic/tidb-cluster.yamlkubectl apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/master/examples/basic/tidb-monitor.yaml 3.访问数据库 kubectl port-forward svc/basic-tidb 4000 > pf4000.out &mysql -h 127.0.0.1 -P 4000 -u root TiDB已蝉联3年“未来你想使用的数据库”榜单第一 *来源：日本最大的数据和数据库会议“db tech showcase 2024Tokyo” 常见部署形态： For生产环境 •私有网络：裸金属、私有云、一体机•公有网络：TiDB Cloud Dedicated (v7.5.4)、TiDB Cloud Serverless (v7.1.3)•Kubernetes：Amazon EKS、Google Cloud GKE、Azure AKS、自托管(KubeBlocks) For开发者、教研、学生 •tiup playground *11/26，TiDB Cloud Dedicated(v8.1.1) 2022年5月，正式商用。 TiDB CloudDedicated适用于生产用途，具有跨区域高可用性、水平扩展和HTAP的优势。TiDB CloudServerless是一款完全托管的多租户TiDB产品。它提供即时、自动扩展的MySQL兼容数据库，并提供免费25G (5G x 5)存储空间。(Free, pay as you go.) •TiDB Cloud Serverless & AI ->Chat2Query：自然语言生成SQL •TiDB Cloud Serverless & Scrum ->Branch：像管理代码一样管理数据 36 G, 3.5 mins •中国-北京、上海、杭州、成都、深圳、广州 •美国-硅谷 •日本-东京 •新加坡 中文站https://cn.pingcap.com/education/英文站https://www.pingcap.com/education/日文站https://pingcap.co.jp/education/ 目前，PingCAP Education累计培训全球分布式数据库人才28000+人次，全球TiDB人才认证累计达10000+人。 •0氪上TiDB社区版，核心相同，性能同阶，基础工具一致。 •平凯数据库企业版软件V7.1首批通过分布式数据库安全可靠测评 三、TiDB新版本亮点速递｜版本回顾，架构演进 三、TiDB新版本亮点速递｜版本回顾，架构演进 TiDB v2引入TiSparkTiDB v3引入TiFlashTiDB v4引入TiCDC，PD DashboardTiDB v8引入TiProxy-- TiDB v4归档TiDB-AnsibleTiDB v7.5废弃MyDumperTiDB v7.6废弃支持TLSv1.0, TLSv1.1TiDB v8.4移除TiDB BinlogTiDB v8.5不再支持CentOS 7 三、TiDB新版本亮点速递｜版本回顾，架构演进 三、TiDB新版本亮点速递｜版本回顾，架构演进 三、TiDB新版本亮点速递｜升级=调优 TiDB支持原地升级，但需要注意升级路径。 三、TiDB新版本亮点速递｜TiDB v8高亮特性 TiProxy - 2023.1,上线TiDB Cloud Serverless。2023.4上线TiDB Cloud Dedicated。- 2023.5,开源TiProxy v0.1。2024.3,随TiDB v8.0.0 DMR正式发布。- 2024.5, TiProxy v1.0 GA。TiDB v8.1.0 LTS全面支持TiProxy。- 2024.7, TiDB 8.2.0 / TiProxy v1.1, TiProxy支持多种负载均衡策略。- 2024.8, TiDB 8.3.0 / TiProxy v1.2, TiProxy支持VIP管理。- 2024.11, TiDB 8.4.0 / TiProxy v1.3, TiProxy流量捕获和回放特性。 tiproxyctltraffic capture--output="/data" --duration=1h tiproxyctltraffic replay--input="/data" --username="root" --speed=2 !!注意事项: 支持TLS连接和长连接（tcpcopy不支持）仅支持使用TiProxy捕获、回放流量（无法捕获MySQL流量测试两者兼容性）TiProxy主备模式，需要连接主节点（不适用K8S环境） $$类似项目： Bowen-Tang/sql-replay，session-replay-tools/tcpcopy 三、TiDB新版本亮点速递｜TiDB v8高亮特性 Runaway Queries (暴走的SELECT) *v7.2.0资源管控引入Runaway Queries管理，通过规则识别QUERY_LIMIT *v7.3.0手动管理监控列表QUERY WATCH*v8.4.0更多触发条件：处理行数PROCESSED_KEYS和用量RU*v8.4.0切换指定资源组SWITCH_GROUP CREATE RESOURCE GROUP IF NOT EXISTS rg1RU_PER_SEC = 500QUERY_LIMIT=(EXEC_ELAPSED='60s', ACTION=COOLDOWN,WATCH=SIMILAR DURATION='10m'); ALTER RESOURCE GROUP rg1QUERY_LIMIT=(EXEC_ELAPSED='10s'PROCESSED_KEYS=10RU=10, ACTION=KILL); QUERY WATCHADD RESOURCE GROUP defaultACTIONSWITCH_GROUP(rg1)SQL TEXT SIMILAR TO 'select*from mydb.t3'; 三、TiDB新版本亮点速递｜TiDB v8高亮特性 “面向TiDB AI学习TiDB” TiDB.AI已开源 pingcap/autoflow 三、TiDB新版本亮点速递｜TiDB v8高亮特性 TiDB v8.4.0支持向量搜索功能 •向量数据类型(Vector) CREATE TABLE vector_table (id INT PRIMARY KEY,embeddingVECTOR(3)); INSERT INTO vector_table VALUES (1, '[0.3, 0.5, -0.1]'); •向量搜索索引 ALTER TABLE vector_table SETTIFLASH REPLICA1; CREATEVECTOR INDEXidx_embedding ON vector_table ((VEC_COSINE_DISTANCE(embedding))); EXPLAIN ANALYZESELECT*FROM vector_tableORDER BY VEC_COSINE_DISTANCE(embedding, '[1, 2, 3]'); •向量函数与操作符 SELECT VEC_FROM_TEXT('[12.0]') < VEC_FROM_TEXT('[4.0]'); --比较SELECT VEC_FROM_TEXT('[2,3,4]') - VEC_FROM_TEXT('[1,2,3]'); --运算SELECT VEC_DIMS(CAST('[0.3, 0.5, -0.1]' ASVECTOR)); --转换SELECT VEC_L2_DISTANCE('[0,3]', '[4,0]'); --欧式距离 四、深度参与TiDB社区的感受 •19年6月，TUG正式成立。•19年7月，TiDB社区论坛上线。•22年2月，TiDB社区专栏板块上线。•23年12月，TiDB社区版主。 卷、有趣、常来玩 合抱之木，生于毫末九层之台，起于累土 Thanks！ ありがとうございます