多元融合创新——国金证券数据库资源池化探索与实践

多元融合创新国金证券数据库资源池化探索与实践 背景与目标 规划与建设 成果与创新 未来展望 背景：券商数据库架构建设面临的挑战 挑战1：数据库“孤岛”业务发展积累了多种类数百套数据库，数据库部署多采用服务器+集中式存储的方式，形成了诸多的数据库“孤岛” 挑战3：复杂环境的管理效率当前多元异构的数据库环境，同时推进国产化信创建设，多种数据库架构共存成为常态，对数据库的管理要求更高 挑战2：激增业务的访问效率多并发访问导致业务压力激增，万物互联，业务访问压力数倍增加，要求满足实现高并发低时延的数据库访问效率 背景：数字化&国产化时代，数据库需要怎样的运行环境 目标：数据库资源池化建设，构建DBaaS平台能力 建设目标推进路径 Ø规划高性能数据库资源池的基础架构 构建高性能数据库承载底座资源池，满足商业、开源、国产数据库的统一承载 Ø推进标准化数据库资源规划与建设 建设标准化的数据库资源池，提供共享的基础资源，分别建设商业开源数据库池、全栈信创国产数据库池 Ø完善多元数据库运维管理规范 根据当前多元化数据库发展需求，制定完善数据库管理的标准规范，提高组织管理效率 Ø构建多元数据库云化管理平台 基于国金现有数据库平台，构建支持国金多元基础架构、多元数据库的管理，实现数据库云化自动运维管理。 Ø扩展多元数据库管理智能化 融合智能化能力，集成专家智慧，实现智慧即服务目标 背景与目标 规划与建设 成果与创新 规划：DBaaS平台技术选型依据及考虑因素 技术成熟度 业务需求 A.行业内有应用案例B.性能提升效果显著C.技术层面有创新 A.高性能块存储适合数据库B.承载多种数据库C.在线动态扩容D.实现降本增效 成本与效益 团队技能 综合评估不同数据库资源池化技术的建设成本投入和预期效益，选择性价比最高的方案。 考虑公司现有技术团队的技能储备和学习能力，选择易于掌握和运维的数据库资源池化技术。 建设：DBaaS平台建设三步走-选择分布式存储 分布式存储：新型动车，每节车厢都有动力，车厢越多，速度越快。适合数据量大，扩展性、IO并发要求高的场景。 集中式存储：传统火车，强劲的火车头，但车厢没有动力，全靠车头带动，火车头成为瓶颈。适合数据量较小，扩展性要求不高的场景。 建设：DBaaS平台建设三步走-选择一体化融合架构 一体化融合架构：指用软件定义的方式，为用户提供一个融合基础设施及软件定义存储架构，通过集成数据库专用存储软件（SDS）+通用服务器实现（集成软硬件管理功能） 建设：DBaaS平台建设三步走-选择集成专业数据库管理 数据库与硬件全栈管理 建设：DBaaS平台技术架构与实现成果 整体架构设计 采用分层架构设计，包括存储资源池层、网络层、计算资源池层、运维管理节点层。 资源池化实现 通过高性能物理服务器整合成资源池，提供统一的计算、存储和网络资源；利用平台技术实现数据库的轻量级运行和快速部署。 统一运维管理 通过平台化统一运维管理能力，实现对底层硬件、上层数据库的统一全栈管理能力。 高可用与容灾设计 采用多副本、多节点、数据快照等技术手段，确保数据库资源池的高可用性和容灾能力。 建设：从集中式架构迁移升级到池化分布式架构 首批改造OA、短信和CRM三类业务，将Oracle、MySQL、达梦等不同类型数十套数据库，近40TB数据迁移整合到分布式存储一体机上。分布式存储配置为3节点，每节点IOPS可以达到40万以上，总体系统的IOPS超过百万 建设：DBaaS平台测试结果 背景与目标 规划与建设 成果与创新 成果：DBaaS平台建设-性能提升 性能优化提升 除了技术创新外，DBaaS平台还建立了完善的性能监控机制，实时监控系统的各项性能指标，包括硬件层面CPU、内存、I/O、网络等，数据库层面实现深入的实时性能监控及下钻分析。通过性能监控，运维能够及时发现和解决问题，确保系统的稳定性和性能。 系统上线后，各项性能指标显著提升。DB Time降低至原来的1/20，SQL语句执行时间及I/O响应时间均有大幅提升！ 成果：DBaaS平台建设效果显著 技术创新 DBaaS平台建设在分布式存储架构中引入了一些技术创新，例如自适应锁核能力、自适应Cache锁能力和双模副本能力等，这些技术有效地提高了系统的性能和稳定性。 自动化运维与统一监控 DBaaS平台实现了数据库的自动化运维管理，实现一键安装部署、统计实时监控告警、智能高效巡检与日报功能。 办公系统“四升两降” 性能、可用性和扩展性提升，信创百分度提升；资源使用单位成本和运维管理复杂度下降。更为重要的是，为后续的核心数据库建设改造提供了可靠的实践路径参考。 成果：DBaaS平台建设资源利用率与扩展性的提升 资源利用率提升 国金证券采用分布式存储架构构建数据库资源池化，整合现有商业、开源30+套数据库统一部署承载运行，DBaaS平台部署支持设备利旧，通过对服务器和网络设备进行利旧使用，采购少量服务器即可实现环境上线，避免了资源浪费，提升了资源利用率40%左右。 扩展性提升 分布式存储架构支持在线扩展，可根据业务需求随时增加节点数量，增强了系统的可扩展性。分布式存储架构使国金证券能够轻松扩展存储容量和节点数量，扩展承载更多数据库类型及数据库数量。支持不同存储介质和品牌构成不同的存储资源池，提供了更多选择和灵活性，符合公司降本增效的大方针。 创新：DBaaS平台分布式存储架构的优势 灵活性 01 分布式存储架构可以灵活地增加或减少存储资源，只需通过添加或删除节点即可。这种灵活性使得分布式存储架构可以适应不同的业务需求，支持在线扩展。 可靠性 分布式存储架构采用全冗余部署模式，并通过数据快照和容错技术，保障了数据的可靠性。即使某个节点发生故障，数据也不会丢失，业务可以持续运行。 高效性 分布式存储架构通过并行处理和I/O优化等技术，提高了数据的处理效率。多个节点可以同时处理读写请求，从而提高了系统的整体性能，实现高效的前端业务支撑。 创新：DBaaS平台建设关键技术创新点及优化 自动化运维管理 智能优化调整 通过集成专业数据库自动化编排及最佳实践参数配置，实现数据库资源池的数据库自动化部署、监控和运维管理，提高运维效率。 数据库管理能力，根据实时监控数据和历史运行记录，智能分析数据库资源池的性能瓶颈并自动优化调整配置参数，提升系统运行稳定性。 灵活扩展与快速响应 资源隔离与安全保障 资源池中多数据库实例间通过资源隔离和安全保障措施，确保不同业务系统实例之间的资源、数据隔离，保障了数据安全性。 DBaaS平台分布式存储架构，支持资源动态在线扩展和快速响应业务需求变化的扩容，提高业务敏捷性和市场竞争力。 DBaaS平台建设实施效果评估与总结 成本效益分析 性能提升 分析资源池化前后的成本效益，包括硬件成本、软件成本、人力成本等。资源利用率相对之前孤岛架构提升了40% DB Time下降至1/20SQL执行时间下降至1/12IO响应时间降至1/6 业务影响评估 总结经验教训 背景与目标 规划与建设 成果与创新 未来展望 展望：对未来核心数据库及信创建设的展望 安全性与可靠性的强化 横向拓展分布式数据库资源池 纵向拓展分布式数据库资源池 全栈信创平台资源池建设 在数字化转型、信创建设背景下，采用全面的安全措施和技术手段，确保数据的机密性、完整性和可用性，并注重备份和恢复策略的制定与实施。 保持和厂商的深入合作，将更加注重分布式技术的应用，以提高系统的可用性、扩展性和容错能力，确保数据的可靠性和完整性。 随着信创国产化的建设推进，规划建设全栈信创版本的一体化资源池平台，满足安全自主可控的建设及业务安全稳定支撑的建设目标。 资源整合上线稳定，未来考虑更多的数据库类型纳入资源池管理，构建核心生产数据库资源池； 谢 谢 观 看