1-2 苏鹏-大模型与向量数据库：敏捷运维的创新引擎

大模型与向量数据库：敏捷运维的创新引擎 演讲人：爱可生苏鹏 公司概况 爱可生，国内开源数据库服务及数据库平台解决方案的龙头公司，致力于数据库领域，为客户提供企业级的数据库全生态软件产品和服务。 产品主要涵盖：多数据库自动化运维管理平台（云树DMP）、数据库云服务平台（云树RDS），分布式数据库（云树Shard）、SQL审核平台（SQLE）、向量数据库（TenSorDB）等软件产品，以及多中心容灾建设数据迁移等解决方案 爱可生成立于2003年，总部和研发中心位于上海，下设北京，深圳等分公司，拥有15+年大型系统平台运维经验，位列全球TOP10规模的系统建设及运维经验，1000+运维项目经验。 近3年私有云市场MySQL产品&运维服务领导地位，得到行业客户的广泛认可，拥有多家世界500强客户及大型银行客户在金融行业树立标杆地位 开源生态 社区热度 技术文章 爱可生开源社区 累计1000+篇每日一更 平均阅读量1000+粉丝量破13000+ 3务，每年1024开3款比费监，并博益营指 702%原谢内容52个期关注i2号: simplelogic 《大智小技》 共推出四册总发送数量破6000+ 8.0件公开泽 数据库解决方案直签标杆客户案例 DBA的常见困扰 网上流传的双主架构，数据经常不一致，复制老中断，该咋整？ 业务增长太快，数据库该如何扩展，读写分离、分库分表该怎么选？多大的表该做拆分，怎么拆呢？数据咋迁移呢？ 开发drop库了，恢复起来太费劲，有没有快速恢复的方案？ 安全扫描又来，数据库又要升级，有没有批量自动化的升级方案？ Oracle是去掉了，用了一堆开源库，运维太麻烦了。 业务要用的数据库种类太多了MySQL、Redis、MongoDB、PostgreSQL、TiDB，能不能统维护起来？ 开源数据占比越来越大，怎么样才能快速掌握它们的最佳实践呢？ 业务抱怨数据库运行缓慢，没有足够信息采集，该如何诊断？ 前期没有做标准化，现在数据量增长太快，运维效率下降，问题越来越多。 SQL质量管理存在问题：发布不规范，事前无控制，事后少跟踪 云树DMP一多数据库自动化运维管理平台 系统运维的稳定性从规范化的部署开始 适配计算资源 运维效率 分钟级别交付支持批量安装部器 标准化交付 数据库类型 MySQLRedisMongoDBTiDBOracle 标准架构标准配置标准模板标准接管 Gdevops全球敏捷运维峰会北京站 备份、转储、恢复、演练一套完整闭环的备份恢复系统 Gdevops全球敏捷运维峰会北京站 定时健康巡检，快速诊断数据库，将故障隐患杀在摇篮里 成实例规模，成万监控指标，实时指标展示，告警异常及时M? 监控数据采集 数据库探活可用性、资源、性能、容量指标采集高可用架构探测自动发现监控对象，无需额外配置操作 可扩展 采用云原生监控构，支持监控数据sharding，可监控上万个监控指标； 采用错峰采集机制，减小被监控对象的负载压力 告警处理 升级变更期间可设置告警静默，避免无效告警告警适道可灵活配置，支持邮件、企业微信、短信平台等告警通道 Gdevops全球敏捷运维峰会北京站 SQL治理需要考虑SQL全生命周期 软件生命周期 第三方统计数据显示：49.4%的数据库故障是由于SQL不规范、效率低等问题引起 标准发布：上线工单变更发布标准化，杜绝问题SQL流向生产 发布效率提升，发布留痕 变更SQL一链执行上线，提升发布效率手动上线/定时上线发布留痕，可追溯 建立标准化发布流程 所有发布必须通过平台执行线下人情上线减少100%，问题SQL引起的性能问题减少60% 多种模式发布，批量上线，满足不同场景上线诉求 事后SQL审核 慢日志采集审核 云数据库审核 库表元数据审核 审计日志采集审核 TOPSQL采集审核 1SQLE实时获联数据库费目志SQL语包2.定期审核：使用语法解析塞解析SQL落句，获取SQL执行计划3.基于规则和均行计划渐断SQL是否存在风险。 1SQL用RDS的慢日志审计日志等AP联取运行SQL信惠2.SQLE使用语法解释析器解析SQL语句，获取SQL势行计划3基于规则和势行计划判断SQL是否存在风验， 1.SQLE通过喜户进程序实时获取数据库懂日志SQL语句2.定期中核：使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和执行计划判断SQL是再存在风险 1.根据采集宽期SQLE定期获取数起库TOPSQL语句2.使用语法解析塞解析SQL语句，获取SQL执行计划3.基于规则和热行计划别断SQL是吾存在风险， 1.据采集周期SQLE定期获取数抵库库表元数落信2.使用语法解析器解析SQL语句，获取SQL执行计划3.基于规则和势行计划判断SQL是吾存在风险， Gdevops全球敏捷运维峰会北京站 SQLE:多元异构数据库SQL管理方案 试能开发 CloudBeaver客户端无缝集成业务开发查询即时审核两系统单点登录 SQL风险展示SQL分析优化SQL下钻分析图表展示报表展示 慢日志审核TOPSQL审核审计日志审核API审核java应用审核 CI/CD持续集成审核慢日志审核TOPSQL审核审计日志审核API审核java应用审核 IDE审核脚本审核（SQ语句、文本、MyBatis ) 自前还存在什么问题？ 故障定位后需要大量人工操作 多表关联SQL开发复杂 SQL审核规则多样 刚上手一款新的数据库不知道该如排查问题 如何对SQL进行优化观点不 现场交付人工成本高 目前存在什么问题？ 大模型正在重构所有行业 大模型的局限性 新增海量数据 大量私域数据 由于大模型的训练过程需要大量的计算资源和时间，这使得大模型往往无法及时吸收和学习到企业最新产生的数据。这就意味着，尽管企业持续产生的数据具有很高的价值但由于无法及时纳入大模型的训练中，这部分价值可能会被忽视或遗漏 虽然大模型具有强大的语言理解和生成能力，但由于它们并未接触过企业的私域数据和特定业务场景，因此，它们无法完全满足企业实际需求，也无法优化企业的具体业务流程。这就使得企业在利用这些模型时可能会遇到一些挑战和困难。 大模型+向量数据库 如何实现非结构化数据的搜索 大模型+向量数据库 TensorDB-爱可生向量数据库企业版软件 TensorDB实现了超大规模向量型数据的高效组织，可以有效支撑时变环境下的向量数据快速比对，面向复杂场景下的实体分析与关系推断，TensorDB克服了AI领多样化应用面临的非结构化数据管理与处理分析困难，提升了数据库异构融合能力。TensorDB具有极高的并发检索性能，支持卓越的水平拓展能力，并提供满足多元业务场景下的高可用需求。TensorDB致力于为用户提供一站式非结构化数据的检索与存储解决方案， 多库管理平台DMP ChatDBA：大模型+私域知识库赋能智能运维 如果我的MySQLcpu性用率高，逐如何排查 SQL生成到审核优化的全流程智能控制 大模型+向量数据库 Gdevops 全球敏捷运维峰会 THANKYOU!