DeepSeek模型本地部署与应用构建
智灵动力陈军 1、DeepSeek简单介绍与使用2、DeepSeek本地部署3、本地知识库搭建4、实际应用场景 目录 DeepSeek简单介绍与使用 模型简介 本地化部署隐私保护 开源生态 推理能力强 多种量化蒸馏模型 开源社区支持，并兼容多种开源框架，方便我们二次开发和微调。同时也支持跨平台适配。 DeepSeek R1推理模型具备强大的推理能力，能够准确理解并回应复杂的对话场景，支持多轮对话，确保用户体验的连贯性和高效性。 提供多种量化蒸馏模型选择，包括8B、32B、70B等，以满足不同应用场景对精度与性能的多样化需求。 核心亮点在支持完全本地化部署，有效保护用户数据隐私，避免敏感信息泄露，同时提升推理速度与安全性。 应用场景 科研数据分析 DeepSeek R1在科研领域展现出了巨大潜力，通过高效处理和分析复杂数据，为科研人员提供深入见解，加速科研进展。 自动化工作流 集成DeepSeek R1于自动化工作流，显著提升流程智能化水平，自动处理数据，实现高效、准确的决策支持。 外挂大脑 日常答疑解惑，信息收集总结类，料汇总，策划分析写周报，写作直播的话术 DeepSeek使用途径 官网/APP 硅基流动 秘塔 cursor Grok DeepSeek本地部署 本地部署的必要性 离线使用 数据隐私保护 即使在网络断开的情况下，用户仍可依赖本地部署的DeepSeek R1推理模型进行智能分析，保障工作连续性。 DeepSeek R1推理模型本地部署可有效避免敏感数据在推理过程中上传至云端，确保数据隐私安全。 自定义模型数据弱审查 性能优化 本地部署DeepSeek R1推理模型能够充分挖掘并利用本地硬件资源，如CPU、GPU等，实现推理性能的优化提升。 根据特定需求，用户可灵活选择不同量化精度的模型进行本地部署，实现性能与资源利用的最佳平衡。可以弱化审核条件，更加全面的利用大模型能力 软件要求 安装包 防火墙设置 操作系统 部署DeepSeek需下载其本地部署包，该包已包含所有必要的依赖项和配置文件，确保了安装过程的简便性。 为确保DeepSeek在断网环境下能够正常运行，需进行防火墙设置，禁止不必要的网络通信，保障数据安全。 DeepSeek支持Windows及Linux、mac操作系统，确保了其在不同平台上的兼容性，为用户提供灵活的选择。 模型选择与硬件要求 量化模型选择 DeepSeek支持8B、32B、70B等多种量化模型，官方满配版本是671B。用户可根据实际需求及硬件配置选择合适的模型。 量化模型作用 量化模型的选择直接影响模型的推理速度与精度，用户需根据具体任务权衡利弊，做出最佳选择。 CPU ->1.5B Q8或者8B Q4GPU 4G -> 8B Q4推理GPU 8G-16G ->32B Q4推理显存越大，速度越快，达到官方宣传的官方版本的90%能力，效果也不错。GPU 24G -> 32G Q8或者70B Q2GPU 40G ->70B Q4这个效果就非常好了 Ollama方式安装 DeepSeek的安装直接用ollama就能安装，ollama官方地址：https://ollama.com ollama+chatboxaiollama+anythinglmollama+page assist Ollama方式安装 Ollama方式安装 安装软件 Ollama方式安装 Chatbox对话框页面 Chatbox官网：https://chatboxai.app/en Chatbox对话框页面 Chatbox对话框页面 Chatbox对话框页面 环境变量 Chatbox对话框页面 环境变量 Chatbox对话框页面 GPT4All方式安装 网址：https://gpt4all.io第一步：安装gpt4all选择适合的系统版本：Windows/macOS/Linux GPT4All方式安装 第二步：下载DeepSeek模型 GPT4All方式安装 DeepSeek R1 671B linux完整版本地部署 部署此类大模型的主要瓶颈是内存+显存容量，建议配置如下： 使用ollama部署此模型。ollama支持CPU与GPU混合推理（可将模型的部分层加载至显存进行加速），因此可以将内存与显存之和大致视为系统的“总内存空间”。除了模型参数占用的内存+显存空间（158 GB和404GB）以外，实际运行时还需额外预留一些内存（显存）空间用于上下文缓存。预留的空间越大，支持的上下文窗口也越大。 此版本主要参考的是李锡涵（Xihan Li）。伦敦大学学院（UCL）计算机系博士研究生的相关论文介绍和截图。 DeepSeek R1 671B完整版本地部署 1.下载模型文件从HuggingFace官网地址：https://huggingface.co/unsloth/DeepSeek-R1-GGUF 2.安装ollama，这个安装刚才讲了，这里是linux的模式。执行以下命令：curl -fsSL https://ollama.com/install.sh | sh 3.创建Modelfile文件，该文件用于指导ollama建立模型文件DeepSeekQ1_Modelfile（对应于DeepSeek-R1-UD-IQ1_M）的内容如下：FROM /home/snowkylin/DeepSeek-R1-UD-IQ1_M.ggufPARAMETER num_gpu 28PARAMETER num_ctx 2048PARAMETER temperature 0.6TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>" DeepSeek R1 671B完整版本地部署 文件DeepSeekQ4_Modelfile（对应于DeepSeek-R1-Q4_K_M）的内容如下：FROM /home/snowkylin/DeepSeek-R1-Q4_K_M.ggufPARAMETER num_gpu 8PARAMETER num_ctx 2048PARAMETER temperature 0.6TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>" 4.创建ollama模型在第3步建立的模型描述文件所处目录下，执行以下命令：ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile 5.运行模型，执行以下命令：ollama run DeepSeek-R1-UD-IQ1_M --verbose https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-20-04 journalctl -u ollama --no-pager DeepSeek R1 671B完整版本地部署 6.（可选）安装Web界面使用Open WebUI：pip install open-webuiopen-webui serve DeepSeek R1 671B完整版本地部署 实测观察 本地断网运行设置 虚拟机断网运行 为确保DeepSeek R1在断网环境下运行,我们可以再虚拟机上运行整个程序，然后给虚拟机断网。 本地断网运行设置 设置防火墙规则 为确保DeepSeek在断网环境下运行，需设置防火墙规则以阻止任何出网流量，从而增强本地部署的安全性。 本地断网运行设置 我们在出站规则程序这里添加出站规则 本地知识库系统的搭建 基于AnythingLLM的本地知识库与API搭建 基于AnythingLLM的本地知识库与API搭建 第一步：下载nomic-embed-textollama官网->models->nomic-embed-text 基于AnythingLLM的本地知识库与API搭建 下载nomic-embed-text ollama pull nomic-embed-text 基于AnythingLLM的本地知识库与API搭建 下载AnythingLLM Desktop 官网地址：https://anythingllm.com/ 基于AnythingLLM的本地知识库与API搭建 安装完成后 基于AnythingLLM的本地知识库与API搭建 创建工作区，进行设置 基于AnythingLLM的本地知识库与API搭建 基于AnythingLLM的本地知识库与API搭建 基于AnythingLLM的本地知识库与API搭建 当然你可以配置远程文档，confluence、github都可以。 基于AnythingLLM的本地知识库与API搭建 测试一下 基于AnythingLLM的本地知识库与API搭建 api功能 个人典型应用场景（个人助手、生产工具） Ø个人生产力工具•本地资料管理：将个人文档、笔记或书籍与模型结合，快速检索和总结信息•私人助理：构建一个专属的AI助手，处理日程安排、提醒事项、私人知识库问答等•本地任务自动化：通过自然语言指令完成重复性任务（如文件整理、数据分析） Ø技术实验 •模型微调：根据个人需求对模型进行微调，例如针对特定任务（如写作、翻译）优化模型表现•DIY项目：将模型嵌入到树莓派等小型设备中，打造智能家居助手或语音交互系统 Ø隐私保护与数据安全 •敏感信息处理：在本地环境中处理个人财务记录、健康数据或私密文档•离线操作：在网络受限或无网络环境下运行模型，•个性化知识库：将个人笔记、日记或其他私人文档与模型结合，构建专属的知识管理系统 企业典型应用场景（隐私保护、定制化能力、离线操作和高效协作） Ø数据隐私与安全•敏感数据处理：在本地环境中处理客户信息、财务记录或商业机密，确保数据不离开企业内部网络•离线操作：在网络受限或无网络环境下运行模型，例如在偏远地区或工厂中进行实时分析•数据隔离：将模型部署在完全隔离的环境中，避免数据泄露风险 Ø知识管理 •企业知识库问答：将模型与企业内部文档结合，构建专属的知识管理系统，快速检索和总结信息•文档自动化：自动生成会议记录、报告或合同摘要，减少人工工作量•员工培训：针对竞品为新员工生成个性化的培训材料，并提供实时答疑服务。 Ø高效协作、监测与分析 •业务流程自动化：合同条款智能审核、客服工单自动分类、报表数据自动生成•安全风控：内部通讯敏感词监控、代码仓库漏洞检测、财务异常模式识别•决策支持系统：市场趋势预测、供应链风险预警、客户流失分析、竞品情报自动分析 实际应用场景 元 娲 生 态 产 品 介 绍 虚拟人定制化平台 满足个性化的虚拟人定制 1.3D超写实虚拟人、3D美型虚拟人、3D卡通虚拟人、2D真身复刻虚拟人多样化的虚拟人满足用户个性化的虚拟人定制需求； 2.多样化的虚拟人应用场景，满足不同客户的场景应用需求。 元 娲 生 态 产 品 介 绍 元娲智能问答平台 虚拟人智能问答无所不能 1.虚拟人可接入专业的问答知识库；2.专业的技能知识库（比如查询天气、车票等）；3.虚拟人全新的AIGC的能力应用（绘画、唱歌、跳舞等）；4.虚拟人可以接入不同的大语言模型，满足个性化的需求。 元 娲 生 态 产 品 介 绍 首批支持国产化数字人平台 元娲平台是国内首批致力于虚拟人领域的AI科技先锋，我们的虚拟人生产力服务平台，全面自主可控，一站式满足虚拟人的创建与驱动需求，无缝适配国产操作系统，坚固安全防线，精准迎合国内市场需求。 产 品 介 绍 元镜-多模态创意呈现，分镜创作新引擎 一款基于人机快生引擎的AI视频创作系统，从需求提交到成片仅需10分钟，即可输出75分质量的视频。1.创意视频脚本引擎
