电子元器件行业系列四：加速端侧AI推广落地，Deepseek本地部署加速端侧AI推广落地

Deepseek本地部署加速端侧AI推广落地

1. Deepseek本地部署特点

• 灵活性与隐私保护：Deepseek的本地部署为用户提供更高的灵活性和隐私保护，尤其适合对数据安全有较高要求的场景。
• 模型规模：Deepseek系列模型包括从1.5B到671B不等的参数规模，其中Deepseek-V3拥有6710亿参数。
• 硬件要求：
  • 671B模型：需要多GPU设置（如NVIDIA A100 80GB x16）。
  • 1.5B-7B模型：适合移动端和轻量级应用，推荐使用NVIDIA RTX 3060 12GB或更高。
  • 8B-32B模型：适用于小型企业和专业领域，推荐使用NVIDIA RTX 4090 24GB。
  • 70B模型：需要多GPU设置（如NVIDIA RTX 4090 x2）。

2. Deepseek构建私有化AI知识管理系统

• 工具：使用Ollama和AnythingLLM搭建本地知识库。
• 功能：支持将本地文档或数据源整合进可检索、可对话的知识库，保护数据隐私并满足个性化需求。
• 操作：通过下载和安装AnythingLLM，上传文档，提取、分割、向量化并存储在向量数据库中。

3. 端侧芯片部署模型能力增强

• 发展趋势：随着蒸馏模型能力的提升，未来端侧SoC将更加注重模型的本地部署和推理能力。
• 技术：通过强化学习和模型蒸馏技术，可以在本地设备上实现高效推理，且仅需少量标注数据即可完成训练。
• 推荐标的：瑞芯微、恒玄科技、晶晨股份、中科蓝讯。

4. 投资建议

• 推荐标的：瑞芯微、恒玄科技、晶晨股份、中科蓝讯。
• 相关受益：乐鑫科技、全志科技、炬芯科技、中兴通讯。

风险提示

• 端侧模型落地进展不及预期：端侧模型是手机、PC等端侧硬件智能的核心，其落地进展不及预期将影响端侧AI硬件使用体验并对其出货量造成不利影响。
• AI技术迭代不及预期：DeepSeek技术进展不及预期将影响其用户使用量，并对服务器算力需求造成一定不利影响。