多云多源数据管理最佳实践——让效能提升5倍

叶正盛NineData创始人& CEO 个人简介 叶 正 盛 N i n e D a t a创 始 人&C E O •资深数据库与云计算领域专家•曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委员会核心成员•阿里巴巴去IOE、异地多活、云计算多次技术变革核心成员•构建阿里巴巴&蚂蚁集团数据库DevOps体系•创立云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服务DAS等多款云计算数据库产品 数据复制 目录 数据库DevOps 多云多源架构发展趋势 【多云多源】数据基础架构发展趋势 字节跳动、小红书、米哈游、B站、小米、理想、小鹏、格力、美的、海尔、Minimax、Volvo中国移动、中国联通、中国电信、杭州银行、建设银行、光大银行、国家电网、中国石化OpenAI、Airbnb、Netflix、宝马、沃尔玛、Spotify、Dropbox、X(Twitter) 国产数据库百花齐放 (2024.10)墨天轮收录：225个，2024年通过国家安全评测17个 NineData安全高效的管理无处不在的数据 NineData数据复制 数据复制典型场景 NineData数据复制特点 NineData数据库DevOps NineData数据库DevOps十四年经验积累 DMS iDB 2010年 •多云、多数据库支持•支持60种数据库•云中立，支持主流云平台•支持本地一键安装部署•更灵活的DevOps业务模型•AI大模型创新 •阿里巴巴集团数据库服务平台•专注解决数据库研发效率、数据安全问题•阿里集团高效数据库服务平台-iDB(链接)@2013VelocityChina2013by叶正盛 NineData数据库DevOps专业解决⽅案 基于AI大模型的SQL开发IDE（更安全、更高效） Smart Edit，研发协同效率提升5倍 •代码智能提示•ChatDBA•Text2SQL•数据库安全保护•敏感数据脱敏•支持60种数据库 NineData+AI大模型数据管理Copilot 更高效、更安全的SQL审核与发布 传统发布 NineData智能SQL审核与发布 数据库变更发布导致60%生产故障 基于CBO技术的慢SQL诊断优化方案基于研发规范及性能的诊断优化能力 首创的自动数据归档与清理 支持归档、清理、归档+清理多种策略灵活按需选择 严谨的敏感数据保护 常见类型自动发现 按需开启/关闭 完整的SQL保护机制 多种遮掩算法 手动开启与关闭自动扫描，人工确认完整的SQL审计完整的操作审计列粒度权限控制 手机号码电子邮箱银行卡密码信息车牌号 基础全遮掩适用手机的中间遮掩使用邮箱的前缀遮掩加密遮掩定制遮掩 完善的SQL保护(多重)子查询发现函数操作发现JOIN操作发现UNION、窗口函数 面向数据库的RBAC权限体系 完整的基于角色/分组的权限管理 个人、角色两级权限 多权限、细粒度 基于环境/数据源分组 查询、DML、DDL、导入与导出任务提交、审批与执行支持数据源、库、列权限 角色实现批量权限管理个人支持细粒度组合灵活控制用户权限 批量权限管理不同环境，不同权限多种分配方式 角色/分组分配 主动申请 管理简单到期释放账号暂停 随角色组管理“环境”（数据源分组）便于组织/企业管理 客户实践 客户案例：中国移动云数据复制 主要问题与挑战 客户本身有很多数据需要同步，同时还要提供数据复制产品给他的客户使用，比如该云的客户从其他云厂商或自建系统中迁移上云。 应用场景复杂：包括迁移上云、跨云迁移、跨区域迁移、数据容灾、异地多活等业务场景。 网络环境复杂：Region内部/Region之间，和其他云厂商与客户自有系统之间等各种链路。 使用成效 每天稳定运行的数据链路数百条。通过NineData双向复制构建了超长距离（超过1000公里）的异地多活集群，支撑业务高稳定运行。 客户实践：某银行数据库国产化迁移同步 核心需求：去O、国产化数据库选型、数据同步质量与性能… 客户实践：沃尔沃数据库DevOps每天自动化完成数百次变更发布 如何 如何 如何 保障不同的经验/习惯的研发人员，依旧能够构建规范的生产环境 保障生产环境的变更，符合稳定性规范 保障不同的数据库、不同的环境，差不多的使用和访问体验 世界500强 “以其安全性和可靠性而闻名” 客户实践：绿城中国数据库DevOps管理数十家软件供应商数据库操作 数百数据库实例 开发人员 数据库 数十家 变更随意，多次导致生产环境业务连续问题 习惯和经验不同，生产环境字段、索引、注释混乱 股票代码03900.HK “中国领先的优质房产品开发及生活综合服务供应商” 客户实践：MiniMax数据库DevOps •1个DBA管理数百个数据库•4朵云，数百个数据库接入•1个月完成数据库DevOps在公司全面上线 MiniMAXAI大模型独角兽 NineData公众号二维码 谢谢 www.ninedata.cloud 让每个人用好数据和云 T h a n k s 荣誉出品