双背景下数据库运维管理的新质生产力

路新英｜上海爱可生信息技术股份有限公司 自 主·创 新·引 领 目 录Contents 双背景下数据库运维管理面临的挑战爱可生公司介绍新质生产力-多元异构数据库运维管理平台010203 Chapter 01 双 背 景 下 数 据 库 运 维 管 理面 临 的 挑 战 当前数据库运维管理面临的挑战 如何做好多技术栈复杂环境的数据库管理 数 据 库 运 行 环 境 复 杂 ：自 建 I D C 、 公 有 云 、 私 有 云 、 D o c ke r 数 据 库 种 类 、 架 构 、 版 本 复 杂： 数 据 库 多 样 性 ， 一 种 数 据 库 无 法 满 足 所 有 场 景 需 求 ， 结 构 化 与 非 结 构 化 并 存 ， 交 易 与 分 析 并 存 数 据 库 架 构 、 版本 管 理 复 杂 如何做好多技术栈的SQL治理与优化 数 据 库 迁 移 替 换 后 ， 业 务 上 线 数 据 库 问 题 频 发 ， D B A 疲 于 救 火 Chapter 02 新 质 生 产 力 — — 多 元 异 构数 据 库 运 维 管 理 平 台 云树DMP让多种数据库在同一技术栈上标准化交付，统一运维、融合发展，降低多元数据库使用场景带来的运维难度和成本提升问题，提高企业运维效率 多种业务架构按需选择，满足不同业务场景需求 规范部署、固化基线 •操作系统参数•版本管理•架构选型•数据库参数•目录规范•磁盘分区•安装方式•账户安全•变更规范 多维度监控，及时预知风险 监控数据采集 数据库探活、可用性，性能数据表空间大小、事务数、锁、负载分析资源使用情况自动发现监控对象，无需额外配置操作 可扩展 采用云原生监控架构，支持监控数据sharding，可监控上万个监控指标；采用错峰采集机制，减小被监控对象的负载压力 及时告警 告警自定义，阈值告警、多种告警渠道实时通知升级变更期间可设置告警静默，避免无效告警 实时诊断，根因分析 故障诊断 健康报告 图形化锁分析 连接分析 磁盘空间分析 慢日志分析 多维度掌握数据库的健康情况，检查出不合理的库表设计, 无主键表影响同步性能； 冗余索引影响插入性能； 主键uuid 影响插入性能 CPU、内存、磁盘使用分析诊断、会话分析、SQL分析诊断 分析当前连接执行的SQL情况, 找出运行时间较长的连接, kill高负载的连接 慢日志集中采集,筛选, 快速分析需要优化的慢SQL，高频的、延时高的 快速定位事务的阻塞关系,kill 阻塞事务. 一键清理日志, 腾出可用空间, 避免DB无法写入 SQL质量“前控” 全量、增量审核，提升审核效率 CI/CD持续集成系统能力增强 提早发现问题SQL •支持扫描配置路径下的全量SQL与变化SQL审核 •jenkins集成无缝对接现有流程，增强持续集成系统能力，不改变使用习惯，减低推广难度 •开发阶段及早发现问题SQL，及时整改，避免问题SQL流向生产 SQL质量“后督” 慢日志采集审核 云数据库审核 TOP SQL采集审核 库表元数据审核 审计日志采集审核 1.SQLE通过其客户端程序实时获取数据库慢日志 SQL语句2.定期审核：使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断 SQL是否存在风险。 1.根据采集周期SQLE定期获取数据库库表元数据信息2.使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。 1.SQLE通过客户端程序实时获取数据库慢日志 SQL语句2.定期审核：使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。 1.根据采集周期SQLE定期获取数据库TOP SQL语句2.使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。 1.SQLE调用RDS的慢日志、审计日志等API获取运行SQL信息2.SQLE使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。 变更SQL标准发布 发布效率提升，发布留痕 •变更SQL一键执行上线，提升发布效率•手动上线/定时上线•发布留痕，可追溯 建立标准化发布流程 •所有发布必须通过平台执行，线下人情上线减少100%，问题SQL引起的性能问题减少60% 问题SQL跟踪治理 •问题SQL统计•问题SQL处理与跟踪•SQL治理效果汇报•SQL指纹去重•SQL规则建议 做好多库规范是SQL质量审核的关键 规则灵活调整 规则库覆盖广 专家经验沉淀规范标准 规则参数灵活调整，满足个性业务需求规则数量可按需定制增加，满足个性化需求 DDL规范、DML规范使用建议、全局配置命名规范、索引设计 数百家客户经验沉淀爱可生专家经验沉淀参与信通院SQL质量管理标准编制，汇聚权威经验 云树DMP为数据库运维管理提质增效 •DMP平台汲取100+资深数据库工程师多年运维经验和300+大型项目需求，运维经验沉淀为标准化产品，满足高性能、高可用和数据安全的需求 某金融行业客户 一套平台完成多种数据库统一管理，满足不同应用的使用需求，避免重复建设，降低运维复杂度 项目背景 随着近几年数字化转型进程不断推进，信托业务快速发展，公司积极推进IT架构转型，引入并推广开源数据库。随着开源数据库种类和数量的增加给数据库运维带来不少挑战：开源数据库推广使用需要更多DBA人员投入，数据库运维成本直线上升；开源数据库多种架构的混合管理增大运维难度；数据库的高可用能力建设如何满足不同业务场景的个性化要求；容灾架构如何搭建以满足不同业务灾备体系建设要求；IT资源如何通过资源隔离和容量管理进行资源高效利用；应对数量较多的数据库如何做到精细化监控，及时发现数据库问题 解决方案 爱可生云树DMP数据库统一管理平台，数据库高可用及容灾方案 项目成果 •针对MySQL、Redis、MongoDB数据库进行统一的运维管理。提供智能化、标准化数据库运维能力，数据库从被动式运维走向主动式运营。建立的数据库管理平台，为新数据库选型、扩展奠定基础。•数据库运维降本增效，提高运维效率，实现了多元数据库统一管理，减少运维成本。•DMP已支撑中小企业业务系统、消费金融业务系统、证券投资业务系统、家族信托业务系统、财富管理业务系统、运管管理系统等20多个业务系统的稳定运行。 某金融行业客户 助力该客户数字化转型，促进开发测试阶段到生产运维阶段SQL规范设计，提高生产系统、数据库运行稳定性。 业务收益 业务挑战 •IDEA审核，为开发人员提供便捷的“自检”手段，提高开发侧SQL编写和SQL优化质量，提升开发效率。•对接DevOps和项目管理系统，完成SQL质量的管理和跟踪，实现SQL自动化审核和上线。•补充完善行内运维变更标准流程，形成了SQL全流程质量管理工具。•接入一年SQL 审核次数已累计达到了 78579 次，有效地发现并解决了大量潜在的数据库SQL风险，平均降低了 66.84%的生产风险 SQL同时形成行内SQL优化知识库。 •开发人员对SQL开发能力层次不齐，没有太多SQL优化经验；研发到测试过程由研发人员进行自检，无法及时获取SQL优化建议，过程没有SQL质量卡点；在实际运行情况中出现慢SQL，系统卡顿等问题。 •人工审核，SQL数量大，DBA团队压力大，行内使用的数据库种类较多，人工运维效率低下，技术栈复杂，缺乏专家经验进行优化。•SQL质量管理效率低，SQL治理需要人工拉平信息，缺少统一平台自动化交互，信息不透明，数据的运维变更缺乏标准流程。 解决方案 项目经理 运维人员 开发人员 全流程SQL采集和审核治理 •从开发设计到生产上线的一体化管理，并将整个SQL审核过程集成到DevOps流水线。 需求管理对接 项目管理 •按项目进行资源管理和权限配置，规范化数据管理流程。 角色权限控制 •支持开发、项目经理、DBA等多种角色，满足各角色参与数据全流程质量管理的要求。•细粒度权限管控，支持实例、数据库、表、字段、数据行级不同粒度授权。 爱 可 生 简 介 爱可生深耕数据库行业20年，专注做好数据库智能化运维 公司情况 成立于2003年，20年数据库技术服务经验，国内领先的数据库产品及技术服务提供商，国家级专精特新、科技小巨人企业 服务辐射全国 总部和研发中心位于上海，下设北京、深圳、武汉分公司，成都、南京、广州办事处 行业客户 行业贡献 生态建设 解决方案 •云树DMP-多元数据库智能运维管理方案•ActionDB-国产数据库解决方案•TenserDB-向量数据库•云树SQLE-SQL质量治理方案• 云树系列生态工具产品 •工信部-信息技术应用创新数据库工作组成员•人行金融科技产业发展联盟-分布式数据库专委会成员•参与编写多项数据库行标、团标 •爱可生开源社区（DBLE、DTLE、TXLE、SQLe）•多种信创国产基础环境适配(操作系统、CPU、整机)•多家上下游厂商适配•加入OceanBase生态 • 银行• 政企• 保险• 电信• 零售• 能源• 制造 THANKS 感谢聆听 自 主·创 新·引 领