基于大模型的运维知识管理平台

背景：金融科技系统技术架构的变化与挑战 云计算（IaaS、PaaS）、容器、分布式数据库、分布式存储、分布式微服务应用系统等 大型机、小型机、DB2、Oracle、集中式存储、集中式应用系统等 稳态架构 敏态架构 1、架构相对简单2、运行稳定3、节点数量少4、技术组件种类少5、运维工作量和技术队伍规模可控6、人员的技术能力和知识体系要求固定 1、架构更加复杂2、稳定性相对较差3、节点数量庞大4、技术组件种类繁杂5、运维工作量暴增6、人员的技术能力和知识体系要求日新月异 SRE理论：技术队伍的规模不应随系统的规模和复杂度的增加而增长。 应对策略：运维数智化转型 •公文扩写 •运维知识管理平台 •SQL语句生成 大模型实践场景 •设计文档模版，输入知识素材，引入反馈机制，并且和行内运维系统打通。（监控平台、CMDB、流程平台）>2000文档 •根据数据库连接信息和表结构分析，基于用户自然语言需求，定位并分析表格与字段，生成精准的SQL语句。 •基于输入的提纲，自动扩写成公文，并根据用户选择的润色要求润色和生成对应的结尾、标题。 实践目标 适配和运用国产算力，提升运维工作效能。 1600字/分钟生成/润色公文 5秒以内生成对应的SQL代码 知识库中已有2000余篇运维文档和100余篇技术管理条例。 可持续优化 风格可选用户可根据需要选择不同的报告类型和润色标签，从而获得符合自己要求的公文。 >800张表可分析超过八百张表格的数据结构 用户可随时对问题结果进行反馈，为后续模型的持续优化提供依据。 国产GPU算力池 打通行内系统 针对用户的问题，系统可自主决定是否调取相应的API或者SQL，抓取对应数据进行回答。 运维Agent智能体 信息存储与回忆 •构建于大语言模型（LLM）之上•具备环境感知能力、自主理解、决策制定及执行行动的能力•能够模拟独立思考，灵活调用各类工具，逐步达成预设目标的过程 从环境中收集信息并从中提取相关知识的能力 拆解复杂任务为可执行的子任务，并评估执行策略 规划与记忆转化为具体输出，包括与外部环境的互动或工具调用 运维知识管理平台技术架构 运维知识管理平台 运维知识管理平台 知识库管理 核心大模型升级—DeepSeek赋能 及时迭代核心大模型和部署框架，进行适配和优化，改善系统效能，提供更加优质、高效的知识库服务 升级后 升级前 DeepSeek-R1-Distill-Qwen-14B Qwen-14B-Chat DeepSeek •准确性更高：凭借其强大的语言理解能力，能够更准确理解问题含义，并提供更精准的答案•透明可解释性：展示推理过程，使用者在获得答案的同时，理解知识运用过程，增强对回答的信任 •部分专业相关问题回答不够精确，存在对知识库信息遗漏或错误解读的情况•大模型的推理过程为黑盒，使用者难以知晓依据，不具备可解释性 VLLM部署框架 FastChat部署框架 •推理速度更快：推理过程中无需频繁内存重分配，推理速度快，尤其在处理并发和长文本请求时。•有效管理内存：基于PagedAttention技术，内存利用效率提高 •处理并发请求时，速度稍慢•内存管理采用传统方式，内存消耗增长快，容易发生内存不足现象 公文扩写前端界面 历史公文和核心价值管理 SQL生成功能实现路径 SQL生成运行界面 5秒左右生成时间：