您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[2024 DAMS中国数据智能管理峰会]:2-5 梁克会 - 大模型在超大规模数据库运维中的研究与应用 - 发现报告

2-5 梁克会 - 大模型在超大规模数据库运维中的研究与应用

AI智能总结
查看更多
2-5 梁克会 - 大模型在超大规模数据库运维中的研究与应用

中国数据智能管理峰会 DATA 基于大模型的数据库运维智能化实践 演讲人:中国银联梁克会 ·个人简介 梁克会 |中国银联信息总中心数据库专家 高级工程师,拥有13年做活库管理经验,管理的邀据库客器规摸数万,在题据库架构设计,性能优化与故障恢复以及数据库云平台建设,智能化运维方面具有深厚的专业知识和实践经验 01 目录 数据库运维智能化 数据库运维难题 超大规模数据库运维难题- 关系至孕保车,非关系型改保片有其建特的特点和适用场量, 每和盈提库排有多个前本,每个而本督有不同的功能和性能,需要运锋人员报提变际需求违行达 超大规模数据库运维难题二 01数据库中请 业务上是周期恶来感证,轻亡资勇供治时效要求点来恶高,文付周期从月端到因,再端到天率小时, 02数据库扩缩容 各类秒杀,高销活动对支付业男提出更高的要求,数据库护拍容变的更加频紧。 03数据库日常运维 效择库日常运比操作越来越频繁,包招情改快效备份还原等,并且对操作的效率要求越未越高 超大规模数据库运维难题三 亲构复杂 现在的效择库需要高效比处理大规棋并发访问,确保款据一政性与安全性,以及实现放障志复等方面置禁拍超来越复杂,微念也超来垃多 数据库分散 效延库分收在不同地区,不同部门,给运非工作带来了管理和协调 运维工具多栏 企业缺无有效且统一的运生工具和系统,导致运注人员工作效率低下,难以应对复杂的运性任务, 数据库运维智能化 02 基于容器的智能化数据库云平台(DBaaS) 功能亮点 ,故障自禽 健康报告 SOL审核 SOL优化建议 高可用切换 自动扩编窖 一键诊断 数据库运维发展阶段 已经进入智能化的初级阶段 C管理 数据库云平台应用效果 1分神内及通中在线扩场整力 大模型应用实践 03 大模型技术概述 大模型技术 大模型技术应用 大模型技术特点 大技型技术具有强大的白密准高县有广场的热月效S 大德型技术是指庭学司技术玛解和三皮 大模型技术在性可成帮运 引入大模型技术的必要性 挑战与困难 阳着扫量的不增长,传的的股控库运性方已经戏以法是清求,需斐寻求新的解以方案, 大模型技术的优势 数据库运维现状 数提车运详而临好量虎大,数保牛产品和类多,运年人员改量不足,运半损作效率低下等间题。 大模型技术具有决大的改密处理能力和智伦决策能力,论够有效解决效遇库运辅中的各种技。 大模型应用场景1 通过大模型实时草保运性如识问窖。 大模型应用场景2 参数解释 通过大模型完成一键解释草竭库争题,提高用户满宽度, 大模型应用场景3 世用大模型对原保件的 大模型应用场景4 世用大模型对原保件的yanl,Jcon,tonl年女件进行情式快宣 大模型应用场景5 通过大换型一键分机查询读的语句,快速优化耗时设长,资源消耗较大的语句。 大模型应用场景6 通过大项型实时实现自然语喜转虚SL语句, 大模型应用场景7 利用大模型对S0L语句舒行,将S1语句转换为白然治言, 大模型应用场景8 大预型可以化SGL语句,提高查询效率, 大模型应用场景9 大模型应用场景1011,12.. 参数优化 资源预测 通过训练和优化,校型可以学习到资源利用率与各种因泰之问的关系。预测末来一投时问内数库资的利用率。 利用大模型收集放揭库运行日志,查询语包,性能指标等致据,对资提库格款进行忧化。 故障诊断 表结构优化 通过大模型分析表上索引是否合理,并且提供忧化注设和添加,制除索引的语句。 通过分析效据库的借误口志,性能题据以及用户反错等文本信息,大语言携型能够识别出潜在的问随祺式,并给出相应的诊审注议。 大模型在数据库运维中应用的基础 准确性判断依据 应用场景 模型评估 数据质量 通过大模型评估系统回答与工答案的相似度 不同应用场景下,准确性划所标准不同 数据质量直接彩响智能问答系统的准确性 大模型在数据库运维中应用的提升准确性的方法 用户反馈循环 模型训练优化 数据预处理 洁洗,分词,标注,提高模型训练效率 收集用户反馈,持续优化问答系统 调整参数,如学习率,批次大小,优化摸型性能 大模型在数据库运维中应用的关键 快 准 在数提库云平台建设若干场景,补充这些场累问医的上下文以及提示河,引导大慎型口答的方向,让月户期一次就可以得到准码的答系 在效据库云平台病江设芳干域点,以一让就将问医发送到大模型,另外,换型的反爆的结果可以直接应用卖者经过核少路径得到店用 大模型在数据库运维中应用的难点 用户习惯很难改变 AI资源不足 用户谨常习慢了一套待定的工作流程和工具,对这些流程和工具产生依响,因此:门对于开技术或新方法的核受度和改变意愿注往获低。 大模型在处理茅些复杂问题时,可能无法准确理解请境,导致提供的菩案与实际情况有所出入,不能直接应用于生产作。 企业缺乏足够的大状型计算资源将无法高效处理数据,影响图速度和结果准确性,限制了资源预测,日志分析等运准场景应用 未来展望 04 大模型对数据库运维行业的深远影响 大模型可以满足月户不同的运维需求,提供个性化的运维方案,提高客户满意度 大模型可以分析效据库运行效据,提供智能化的运维决策建设,提高运维质量, 大模型可以自动检测和修复放据库问题,减少人工干预,提高运维效率, 数据库运维技术发展趋势与预测 技术挑战与应对策略 大模型在数据库运维的应用 未来数据库运维应用场景 及测大夜型在效巧库运半中可能面临的热术排战。如效提安全、校型隐定性等,需亚关注和解决、 预测大模型在效据库运毕的应用场景将更深入。如智能监控,资源预测等,这些场景需要消耗大量计算资源。 预测大夜型将在效招库运中发挥重要作用。提高运毕效率和准确性。 技术发展趋势与预测 人才培养 生态构建 数据库运维 培养具备大模型应用能力的数活比运性人才,性动行业凯新 大损世在数托库运维中的应用,如智能监控,故厚顾测,性能优化等, 核建以大模也为恢心的整托库运姓生态,包括工具,平台,服务警 DAMS 中国数据智能管理峰会 DATA THANK YOU!