张亮-可插拔架构下的数据增强计算引擎实现0817

行业现状与趋势

• 数据库碎片化：传统数据库管理面临挑战，业务应用场景多元化，数据库架构多元化，协议多样化，数据库间缺乏协作能力，架构选型困难。
• 行业趋势：数据库平台化（Database Plus）成为解决碎片化问题的设计理念，通过构建上层标准生态，屏蔽数据库碎片化对业务的影响。

Database Plus 设计哲学

• 核心思想：在复用数据库原生存算能力的基础上，提供面向全局的扩展和叠加计算能力，使应用与数据库交互面向 Database Plus 标准。
• 关键组件：连接增强、可插拔架构、数据库计算增强引擎、数据库功能生态。

Apache ShardingSphere 简介

• 项目背景：Apache ShardingSphere 是一个开源的分布式数据库中间件，旨在解决数据库碎片化问题。
• 项目荣誉：Apache 软件基金会顶级项目，CNCF 全景项目，数据库顶会 ICDE 论文作者，出版《Apache ShardingSphere 的权威指南》。
• 发展历程：从 2016 年 1.0 版本发布至今，已发展至 6.0 版本，成为面向可插拔的 Database Plus 理念。

ShardingSphere 设计实现

• Database Plus：通过构建上层标准生态，屏蔽数据库碎片化对业务的影响。
• 物理部署架构：高性能、单元化、零侵入、低耦合、多端访问、易运维。
• 极致性能：与 MySQL 对比，数据处理速度及吞吐量优势突出，具备行业同等规模下最强性能。
• 易用性：通过 DistSQL 方便构建数据分片服务。

可插拔内核架构

• 核心组件：计算下推引擎、联邦查询引擎。
• 解决方案：
  • 分布式数据库解决方案：解决原有方案的技术瓶颈，降低更换架构的复杂性风险，实现数据库同步，管理多个异构数据库集群，线性提升数据存储容量及并发吞吐。
  • 数据安全解决方案：提供基于产品的数据加密和数据脱敏功能，防止数据泄露，保护数据安全。
  • 全链路压测解决方案：实现压测数据与生产数据的隔离，帮助应用自动路由，支持全链路压测。
  • 流量控制解决方案：内置和自定义影子库算法，可观察性，金丝雀测试，灰度上线。

SphereEx 企业级应用

• 商业产品：连接 X 增强 X 可插拔，数据库碎片化解决方案，Database Plus 平台，多源异构数据库支持，极致性能，多端访问，避免绑定，DistSQL。

联系我们

• 微信公众号：Apache ShardingSphere、SphereEx
• 官网：SphereEx 官网、Apache ShardingSphere Website
• 社区：Open SphereEx Community、Apache ShardingSphere GitHub、Apache ShardingSphere Slack Channel
• 邮箱：it@sphere-ex.com / biz@sphere-ex.com