DevOps场景下的数据库运维管理新模式

丁 嘉 胤 个人介绍 丁嘉胤爱可生—资深DevOps专家 自2011年开始从事IT运维管理工作，期间曾担任IT运维项目经理、ITIL咨询顾问和DevOps解决方案架构师等职位，积累了超过10年的经验。在ITSM和ITOM领域，具备丰富的项目建设经验，并在基础架构运维和企业IT基础架构领域也积累了专业知识；多次成功为企业提供运维管理和运维产品解决方案的架构设计。 当前环境下的数据库运维治理挑战1 目录 DevOps流程与数据库运维过程中的结合实践点2 CONTENTS 复杂业务场景下的数据运维管理3 关于爱可生 4 01当前环境下的数据库运维治理挑战 企业数据服务管理现状 企业客户数据库系统面临在资源管理、运维、服务领域上需要灵活的支持多库的数据管理要求 运维域 数据服务域 create database…create user…create table…create index…create view…Insert into…段(create/write segment)create instance…create tablespace区(create/write extend)页(create/write page)包(create/write block)dump…source…SQL栈 企业数据库服务管理痛点 账号权限管控难1 02数据操作控制难2 n存在未经验证审核的SQL执行语句下发的情况；n用户操作产生的问题不能尽快有效追溯；n数据转移、转储过程不受控，有数据泄露的风险顾虑。 n数据库权限分配过程中，不同数据库系统的账号信息存在遗忘或丢失的现象；n用户操作权限申请随意，无法做到精细化权限管理 04变更流程合规难4 数据库资源管理难 n数据库资产缺乏统一管理，很难直观的了解都有哪些库；n采用不同的SQL终端，需要不停的切换SQL窗口，容易出现执行错误；n对数据资产处置的“留痕”。 n有变更流程规范，但缺少流程化工具管理，执行不到位；n已经建设了DevOps工具，却无法应用在数据库上；n数据库权限有时在开发手上，变更频繁且随意，不受控。造成生产故障后，DBA救火困难。 G O P S全 球 运 维 大 会2 0 2 3 ·上 海 站 DevOps流程场景下的数据库管理现状 G O P S全 球 运 维 大 会2 0 2 3 ·上 海 站 02DevOps流程与数据库运维过程中的结合实践点 数字化时代下数据服务生命周期管理实践 数据合规、安全、高效使用,是贯穿数据生命周期的重要考量点 数据服务生命周期管理实践原则 以流程为驱动，将四个维度的工作内容映射到数据管理流程中 数据服务生命周期管理实践—多库资源管理集中管理集信 大数据团队、业务团队、开发团队、运维团队在不同数据库上申请权限，通过邮件、ITSM进行申请权限开通、使用Excel登记 中NewS创企业数据库从传统集中数据库MySQL、Oracle，根据业务要求逐步引入NewSQL如MongoDB等开源数据库、近年来推行的信创数据库 插件式、模块化接入，快速接入新款数据库据QL据 数据服务生命周期管理实践—数据库开发赋能对接 助力DevOps一体化建设：标准规范+自助审核+CI/CD持续集成审核+流程自定义+工单审核+发布上线标准化+连库TOPSQL、慢日志审核+应用程序审核+OpenAPI+专家经验集成+审核结果分级展示 数据服务生命周期管理实践—CICD流程对接实践 CI/CD持续集成系统能力增强 提早发现问题SQL jenkins集成无缝对接现有流程，增强持续集成系统能力，不改变使用习惯，减低推广难度 开发阶段及早发现问题SQL，及时整改，避免问题SQL流向生产 支持扫描配置路径下的全量SQL与变化SQL审核 G O P S全 球 运 维 大 会2 0 2 3 ·上 海 站 数据服务生命周期管理实践—SQL变更发布流程实践 发布效率提升，发布留痕 变更SQL一键执行上线，提升发布效率手动上线/定时上线发布留痕，可追溯 建立标准化发布流程 所有发布必须通过平台执行，线下人情上线减少100%，问题SQL引起的性能问题减少60% G O P S全 球 运 维 大 会2 0 2 3 ·上 海 站 数据服务生命周期管理实践—数据库服务管理过程对接ITSM工具 变更留痕，自动化发布效率提升 工具打通，提升用户体验 变更SQL一键执行上线无需多平台跳转的技术服务提升SQL质量，保障业务稳定 数据服务生命周期管理实践—数据库账号安全管理 数据服务生命周期管理实践—数据库元数据模型管理 统一数据摸型管理，实现多场景下的业务数据模型同步 •生产库表元数据管理•多库库表元数据统一创建•预生产、测试环境数据模型统一管理 提升价值 •数据库元数据统一管理，•数据库元数据消费场景统一管理•测试环境提供精准数据测试•开发环境数据库变更统一管理 数据服务生命周期管理实践—数据库SQL质量的持续改进 java应用程序采集审核 1.SQLE通过其客户端程序实时获取java应用程序中运行的SQL语句2.定期审核：使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。 SQL采集审核 1.慢日志SQL语句审核2.数据库日志SQL语句审核3.TOP SQL采集审核4.云上数据库SQL审核 数据服务生命周期管理实践—数据库服务运营管理 数据备份恢复 标准化部署 智能巡检 性能问题定位 •多类型数据库的自动化巡检，并输出巡检报告•全面数据库巡检指标，对连接池、磁盘空间、图形化锁、慢日志、库表状态进行巡检•对历史数据进行异常检测获取进行智能化巡检 •标准化部署：MySQL、Redis、MongoDB、TiDB、Oracle、ActionDB、Oceanbase的标准化安装•支持集群模式部署、复制模式等数据库参数的标准化配置•适配信创基础架构资源方案•对接现有数据库集群信息的标准化对接 •提供数据库性能问题定位，自动提供标准化监控采集指标进行性能问题分析 •数据库备份自动化，支持增量、全量等备份操作•自动化备份演练，可恢复到任意时间地点数据•数据转储：可对接多类型存储进行数据库转储，读取等操作•数据验证：支持面向容灾情况的灾备数据演练的RPO验证 G O P S全 球 运 维 大 会2 0 2 3 ·上 海 站 04关于爱可生 成立于2003年，注册资本人民币7745万（人民币），国内开源数据库服务及数据库平台解决方案的龙头企业，致力于数据库领域，为客户提供企业级的数据库全生态软件产品和服务。 专业团队 公司定位 公司员工现有320+人。90+研发，120+DBA；70+OCP，10+资深数据库技术专家，官方源码贡献者3人，官方ACE 1人 为客户开源数据库企业级应用提供产品+服务+培训一站式全生命周期数据库技术服务 开源社区 公司分布 爱可生开源技术社区，开源DBLE、DTLE、TXLE、SQLE产品，持续贡献技术文章 总部上海，下设北京、深圳、武汉分公司；成都、南京、广州办事处 爱可生开源社区是一个专注于数据库领域的技术社区，社区秉持开放、汇聚、协同、众创的精神，为广大数据库从业人员提供稳定的MySQL企业级开源工具及服务。 社区在每年的10.24会开源一款优良组件，并不断汇集社区内更多的创新力量，为数据库开源产品不断赋能。截至目前，爱可生的开源产品在GitHub上已获得超过1600+stars（https://github.com/actiontech）。 G O P S全 球 运 维 大 会2 0 2 3 ·上 海 站 云树多库工具 SQLE--数据库SQL审核管控软件云树DTS--数据库传输服务软件TXLE--全局事务框架 云树数据库安全 数据库安全访问网关数据库安全脱敏网关数据库存储加密软件 开放运维联盟高效运维社区DevOps时代 荣誉出品