MySQL ： CERN MySQL 院区版(英文版)

Abel Cabezas Alonso2024 年 5 月 1 日 Abel Cabezas Alonso 自 2019 年起担任 CERN 的数据库工程师 ■作为 DevOps 工程师的过渡 ■ 作为软件开发人员的早期职业 Abel Cabezas Alonso abel. cabezas. alonso @ cern. ch •揭示宇宙是如何工作的以及它是由什么组成的 •提供独特的粒子加速器设施， 使研究在人类知识的最前沿 •团结世界各地的人们 ， 推动科学技术的前沿 大型强子对撞机 全球 LHC 计算网格(WLCG) Tier0:数据重建 + 磁带归档 + 数据分发到其他层 ~ 每年 200 PB 的数据 CERN 数据库 ： Oracle • Oracle 数据库自 1982 年以来 • 105个Oracle数据库• 超过11,800个Oracle账户• RAC、Active DataGuard、OEM、RMAN等• 复杂环境• 用于• 行政信息服务中心• 工程团队• 加速器和实验• 等等• 全方位数据库管理员支持• 约5PB的数据 CERN 数据库 ： DBOD • 按需数据库 (DBOD) •••• DBaaS 于 2011 年构思• 灵活的体系结构 ， 允许轻松集成其他 DBMS• 约 600 MySQL ， 约 400 PostgreSQL ， 约 200 InfluxDB• MySQL 是某些应用程序选择的 / 仅支持的技术• 用户管理的 MySQL 数据库实例• Used by• 许多关键数据库应用程序正在运行CERN 的授权和认证服务• 超过 1200 个数据库服务器实例• 授权用户成为自己的 DBA实验(ATLAS 、 LHCb 等)WLCG 文件传输服务约 150 TB 的数据 MySQL 部署 ••• 每个主机多个 MySQL 二进制文件• 每个主机多个数据库实例数据目录 + 二进制日志目录部署类型 • 单实例部署 • 灾难恢复复制 • 扩展读取复制（应用程序需能容忍最终一致性） • ProxySQL + 主从复制 • MySQL InnoDB集群• 每个数据库实例两个不同的 NetApp NFS 卷： 实现高可用性 ： ProxySQL + 异步复制 Objective• 自动故障转移 关于 ProxySQL • 内置监控模块• 不是为重新配置拓扑而设计的• 调度器模块扩展逻辑 ：• 无内置故障转移 / 故障恢复 • 故障转移逻辑 • 冲突解决(裂脑) • 复制通道监控 局限性 • 不是纯粹的 HA 解决方案 • SPOF • 无法为我们的用例部署多个代理 • 大量维护工作 MySQL InnoDB 集群的高可用性 •••••••使用 MySQL Shell 轻松部署易于维护通过部署多个 MySQL 路由器没有 SPOF使用 MySQL Shell 简化管理成熟的 HA 解决方案易于集成 * • 存储看门狗非常好的文档 • 仲裁损失 •群集重新启动 •通过 MySQL 路由器无缝扩展读取 自动化 Web 自动化 • 自动化备份和恢复服务 • MySQL Shell 升级检查器 • 配置文件管理 • 克隆功能 • 内置监控 • 内置升级 • 主节点-副本升级逻辑 Ops 自动化 •••••• 持续验证备份实例和存储迁移 自动副本配置 自动复制切换 闲置实例检测 整合的密码哈希破解器 使用 MySQL Shell 自动升级实例 升级检查器实用程序 •••••• MySQL Shell 与扩展逻辑的集成• 通过 CERNBox(云存储) 共享的报告可以按需运行默认情况下禁用升级只有在升级检查程序报告为"清除"用户可以更正错误和警告之前自主升级用于复制设置的扩展逻辑 服务演进 •••••••• MySQL 是 CERN 许多服务的关键元素探索在 CERN 进一步自动化 MySQL 部署的可能性• 完成业务连续性 / 灾难恢复计划的整合确保 MySQL 演进适合服务集成 MySQL InnoDB 集群停止 ProxySQL推广使用 utf8mb4集成 InnoDB 副本集以简化现有复制设置的管理用于克隆配置的 MySQL 克隆插件的评估完全自动化 MySQL InnoDB 集群生命周期 home. cern 自动化 utf8mb3 字符集转换 utf8mb3 已弃用 •••••••• 来自 5.6. x / 5.7. x 的实例在 Web 界面上为受影响的实例启用自动字符集转换每天运行一次自动检查 ， 查找 utf8mb3 的使用情况允许空运行:仅生成要应用的 DDL运行转换从 + 转换日志之前和之后生成 DDL 转储建议在克隆实例中进行首次测试 ， 以避免以下意外 ： 错误1074色谱柱长度太大for柱'foo'(max=16383);useBLOB orTEXT相反 • 对于 utf8mb4 字符集 ， VARCHAR 列最多只能容纳 16383 个字符