【山东大学】DeepSeek应用与部署

听听真我数字人讲DeepSeek AIGC发展历程 AIGC 2014-2024 自然语言处理与语言模型 大语言模型LLM：2018 —2024 DeepSeek介绍 DeepSeek：2023 — DeepSeek：技术创新——模型架构| V2（Multi-HeadLatent Attention） DeepSeek：技术创新—模型架构| V3 DeepSeek：技术创新—推理模型| RL强化学习让智能体（Agent）在环境（Environment）中不断尝试、学习，并优化自己的策略（Policy），最终获得最大化的奖励（Reward）。PPO：Proximal Policy OptimizationGRPO：Group Relative Policy Optimization DeepSeek应用场景 DeepSeek的能力层级•1.基础能力层多模态数据融合与结构化理解，包括跨模态语义对齐（文本、图像、音频、视频、代码、传感器数据统一语义）和动态数据治理（解决数据缺失、噪音干扰、概念飘逸等），支持200多种数据格式自动解析。•2.中级能力层领域问题建模与复杂推理，包括领域自适应学习（建立医、教育、金融垂直应用于模型）、因果推理引擎（建立因果图模型）和多目标优化决策（求解帕累托最有解）。•3.高级能力层复杂系统建模与自主决策，包括数字孪生仿真系统（构建物理于数字融合虚拟环境模拟天气等）、多智能体协同优化（将每个个体作为智能体通过联邦学习模拟群体行为）和元认知调控机制（实施监控自身决策、动态分配资源、自动触发行为）。•4.终极能力层自主进化与创造性突破，包括概念空间探索（通过对抗网络探索新合金成分等）、范式转移预警（监控跨领域知识流、识别技术革命前兆）和自编程能力（自动模块设计、代码编写、测试用例）。 DeepseekV3 DeepseekR1 Deepseekr1鞅的证明 Deepseekr1Roy安全准则组合模型推理 Deepseekr1推理玻尿酸配方 DeepSeek提示词工程 提示词工程 Deepseek十类提示词•1.内容生成类：文本生成、代码生成、创意生成和数据模拟。•2.信息处理类：文本摘要、信息抽取、情感分析和多语言翻译。•3.对话交互类：角色扮演、多轮对话、反问引导。•4.技能应用类：数学计算、代码解释、逻辑推理。•5.个性化定制类：风格迁移、知识库绑定、偏好记忆。 •6.系统操作类：模式切换、资源优化、记忆管理。•7.知识查询类：事实核查、概念解释、溯源检索。•8.教育与研究类：题目生成、论文润色、实验设计。•9.多模态处理类：图文互译、表格解析、视频脚本。•10.伦理与安全类：内容审核、价值观对齐、风险预警。 DeepSeek部署方案 DeepseeK替代部署方案•本地部署蒸馏小模型：可通过ollama平台、LM Studio平台快速本地部署基于Llama和Qwen蒸馏的DeepSeek- R1推理模型，涵盖多种不同参数规模，适合想在本地运行模型的用户。•第三方UI客户管接入服务：可通过Anything LLM、Cherry Studio、Chatbox等选择API接入。•秘塔AI搜索：接入满血版DeepSeek- R1推理模型，无广告且搜索结果直达。以学习JDK21新特性为例，能详细给出学习计划，包括快速预览、深入学习核心特性、实战与总结等阶段。•硅基流动：注册即送2000万Tokens，提供多个基于DeepSeek- R1蒸馏训练的模型，如DeepSeek-R1 - Distill - Llama - 70B等，在推理能力上表现出色。•阿里云百炼：提供多个DeepSeek系列模型，如DeepSeek- V3、DeepSeek- R1 - Distill -Qwen-1.5B等，部分限时免费，涵盖文本生成等功能。•百度智能云：千帆ModelBuilder全面支持DeepSeek- R1/V3调用，且限时免费，其模型在百科知识、数学推理等任务表现突出。•英伟达：可通过特定接口调用DeepSeek- R1671B全量模型，获取API Key后能进行相关操作。 DeepSeekAPI调用 API调用方法•DeepSeekAPI model='deepseek-chat'即可调用DeepSeek-V3model='deepseek-reasoner'，即可调用DeepSeek-R1。 Token用量计算•token是模型用来表示自然语言文本的基本单位，也是我们的计费单元，可以直观的理解为“字”或“词”；通常1个中文词语、1个英文单词、1个数字或1个符号计为1个token。•一般情况下模型中token和字数的换算比例大致如下：•1个英文字符≈0.3个token。•1个中文字符≈0.6个token。•但因为不同模型的分词不同，所以换算比例也存在差异，每一次实际处理token数量以模型返回为准，您可以从返回结果的usage中查看。 阿里云部署Deepseek以DeepSeek-R1满血版为例进行演示，通过百炼模型服务进行DeepSeek开源模型调用，可以根据实际需求选择其他参数规模的DeepSeek模型。百炼平台的API提供标准化接口，无需自行搭建模型服务基础设施，且具备负载均衡和自动扩缩容机制，保障API调用稳定性。搭配Chatbox可视化界面客户端，进一步简化了调用流程，无需在命令行中操作，通过图形化界面即可轻松配置和使用DeepSeek模型。https://chatboxai.app/zh#download 腾讯云部署流程•Cloud Studio：登录腾讯云官网，进入Cloud Studio，可一键部署，即开即用，能快速体验7B以下DeepSeek- R1蒸馏模型。•云原生构建：登录腾讯云，云原生构建相关服务，一键体验DeepSeek，无需等待下载，支持1.5b/7b/8b/14b/32b多款模型。•TI平台：登录腾讯云TI平台，提供专属算力、多种尺寸模型、0代码模型部署等功能。•HAI：登录腾讯云HAI控制台，新建DeepSeek- R1应用，创建完成后可通过站内信获取密码，选择可视化界面（ChatbotUI）或命令行（JupyterLab）直接调用DeepSeek- R1模型。•云应用：登录腾讯云找到云应用服务，直接购买成品DeepSeek应用，或利用云应用定制化软件功能，快速部署AI应用或定制传统软件。•搜索方案：大模型知识引擎：注册并登录腾讯云，在控制台搜索“大模型知识引擎”体验”开通服务。新建应用并配置基础信息，选择DeepSeek- R1/V3模型，即可在右侧调试窗口提问搜索。•API接口：申请腾讯云DeepSeekAPI接口，获取API Key后，可在自己的应用或程序中通过调用API来实现DeepSeek模型的搜索功能。 腾讯云API调用开发者首选，DeepSeek部署简单、直观、高效！HAI提供GPU算力和ollama环境，支持1.5B, 7B, 8B, 32B等多个DeepSeek-R1蒸馏模型。 企业级首选，DeepSeek部署稳定、安全、易用！ 腾讯云智能全栈AI服务上架DeepSeek系列模型 创建应用 华为云+silconflow通过创建API key调用邀请码：z0sI0urY邀请链接：https://cloud.siliconflow.cn/i/z0sI0urY 华为云模型微调u对话模型微调u生图模型微调 DeepSeek：推理模型|推理能力蒸馏模型蒸馏工程老师模型学生模型DeepSeek蒸馏模型 老师模型和学生模型大模型：像一位见多识广、知识储备庞大的“大教授”，无所不知，但是“供养”他很贵。 小模型：相当于一枚小学生，知识面非常有限，但是胜在没教授那么大谱，给个板凳坐着就够了（部署成本低，推理成本低）。 什么是模型蒸馏？“模型蒸馏”就是把大模型学到的本领，用“浓缩”的方式教给小模型的过程，在保证一定精度的同时，大幅降低运算成本和硬件要求。 模型蒸馏•蒸馏是一种机器学习技术，其中较小的模型（“学生模型”）被训练来模仿较大、预训练模型（“教师模型”）的行为。•1.数据蒸馏在数据蒸馏中，教师模型生成合成数据或伪标签，然后这些数据用于训练学生模型。•2. Logits蒸馏在logits蒸馏中，学生模型被训练来匹配教师模型的logits，而不仅仅是最终的预测。这种方法保留了更多关于教师模型置信水平和决策过程的信息。•3.特征蒸馏特征蒸馏涉及将教师模型中间层的知识转移到学生模型中。通过对齐两个模型的隐藏表示，学生模型可以学习到更丰富和更抽象的特征。 蒸馏、微调、RAG蒸馏：是学生通过模仿老师的解题思路，达到和老师相似的知识水平。 微调：又叫精调，相当于学生意识到自己某门课有短板，然后自己找参考书恶补了一下，从而补上短板。 蒸馏、微调、RAGRAG：直译过来叫做“检索增强生成”。相当于这题我不会，但是我有“小抄”，我回答的时候，就看一眼小抄，然后再综合我脑子里的已有知识，进行回答。 DeepSeek本地部署 1. GPU要求推荐NVIDIA显卡（RTX 3090/4090/A100等）显存要求：■7B模型：至少16GB显存■13B/20B模型：至少24GB显存■70B模型：需多卡并行（如2xA100）支持CUDA 11.7+和cuDNN8.5+DeepSeek本地部署-硬件环境准备2.系统要求Linux（Ubuntu 20.04+）或Windows WSL2Python 3.8+，推荐使用Anaconda/Miniconda管理环境 方法1：使用Hugging Face Transformers方法2：使用vLLM加速推理方法3：Docker部署DeepSeek本地部署-部署办法 Anything LLM接入•下载安装•打开官网，根据自己的系统选择下载对应的版本。••安装文件，按照安装向导的提示进行操作，默认路径安装或修改默认安装路径都可以。安装完成后，点击完成自动跳转到AnythingLLM界面。•模型配置•LLM Selection（大语言模型选择）：选择Ollama，如果本地已通过Ollama部署了DeepSeek等模型，AnythingLLM会自动检测。这意味着模型和聊天记录仅在运行Ollama模型的机器上可访问，保证了数据的安全性和隐私性。• Embedding Preference（嵌入偏好）：使用AnythingLLMEmbedder嵌入工具，文档文本会在AnythingLLM的实例上私密嵌入，文本数据的处理和转换在本地进行，不会泄露给第三方。• Vector Database（向量数据库）：使用LanceDB作为向量数据库，向量和文档文本都存储在AnythingLLM实例上，进一步确保数据的私密性和安全性。•接入DeepSeek模型•通过Ollama接入：先在本地通过Ollama部署DeepSeek模型，然后在AnythingLLM中选择Ollama作为语言模型推理后端，AnythingLLM会自动连接到本地Ollama服务中的DeepSeek模型。•通过DeepSeekR1API接入：在AnythingLLM工作区右侧点击设置，选择聊天设置，更改LLM模型为DeepSeek，输入API Key并选择DeepSeekR1模型，点击更新工作区即可。•搭建本地知识库•在AnythingLLM左侧工作区找到上传按钮，选中要上传的文档，点击移动到工作区，再点击“Saveand Embed”，对文档进行切分和词向量化。•完成后，点击图钉按钮，将文档设置为当前对话的背景文档，即可在聊天窗口基于上传的文档内容与模型进行对话。 本地部署方法ØOllama+DeepseekØLMStudio+DeepSeekØAnythingLM+Ollama+Deepseek+向量模型（EmbessingModel）ØDify+Ollama+Deepseek+向量模型（EmbessingMode