DeepSeek大模型研报总结
公司背景
- 公司信息:杭州深度求索人工智能基础技术研究有限公司(DeepSeek),成立于2023年7月,创始人梁文峰(幻方量化联合创始人),位于杭州拱墅区,业务方向为通用人工智能(AGI)技术研发和应用,是“杭州六小龙”之一。
- 创始人信息:梁文峰,1985年生,籍贯广东湛江,毕业于浙江大学,2008年开始带领团队探索量化交易,2015年创立幻方科技,2019年资金管理规模突破百亿元。
- 团队背景:团队成员多来自清华大学、北京大学等顶尖高校。
DeepSeek大模型发布时间表
- 2024年1月至2025年1月,DeepSeek陆续发布了DeepSeekLLM、DeepSeek-Coder、DeepSeek-Math、DeepSeek-VL、DeepSeek-V2、DeepSeek-Coder-V2、DeepSeek-V2.5、DeepSeek-R1-Lite、DeepSeek-VL2、DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-Zero等系列大模型。
DeepSeek大模型核心特点
- DeepSeek-V3:
- 性能:在数学推理、代码生成、常识推理等基准测试中达到领先水平,接近或超越GPT-4 Turbo等顶尖模型。
- 技术:采用多头潜在注意力(MLA)和DeepSeekMoE架构,FP8精度训练,双向流水线(DualPipe)算法,跨节点通信技术。
- 成本:参数规模6710亿,但每次处理一个token时只激活370亿个参数,训练成本远低于GPT-4。
- 价格:API服务定价低廉,性价比优势明显。
- DeepSeek-R1和DeepSeek-R1-Zero:
- 基于DeepSeek-V3的混合专家(MoE)架构,总参数量6710亿,但每个推理请求仅激活约10%的参数。
- R1-Zero:完全依赖强化学习(RL)训练,跳过监督微调(SFT),探索纯RL的可行性和潜力。
- R1:在R1-Zero基础上引入冷启动数据和多阶段优化,结合监督微调(SFT)与强化学习(RL),提升输出的可读性和稳定性。
DeepSeek-R1性能表现
- 在数学、代码、自然语言推理等任务上,性能能够比肩OpenAI ChatGPT-4。
- 在ChatbotArena上,基准测试排名升至全类别大模型第三,与OpenAI的ChatGPT-40最新版并列。
- 采用强化学习、奖励机制设计、训练模板与结构化输出、蒸馏技术、开放思维链(CoT)输出等技术。
DeepSeek技术特点总结
DeepSeek造成的影响
- 改变了AI技术的发展方向:算力至上的传统认知被打破,算法创新的重要性提升。
- 改变了全球AI进展的格局:对美国的人工智能领导地位构成威胁,中国与美国在AI大模型领域的差距正在快速缩小。
- 全面加速AI端侧应用的落地:大模型的价格正在快速下降,极大推动了AI在端侧的应用普及。
- 对AI算力供给关系造成冲击:短期来看降低了AI大模型对智算算力的需求,但长期来看会带动端侧AI算力芯片、终端等产业的增长浪潮。
- 引领开源力量的大跨步发展:DeepSeek的成功,吸引了大量开发者参与改进和研究,推动了开源社区的发展。
云厂商和运营商全面接入DeepSeek
- 华为云、腾讯云、阿里云、百度智能云、火山引擎、金山云、微软Azure、亚马逊AWS、中国电信、中国移动、中国联通等云厂商和运营商全面接入DeepSeek。
生态链适配
- 多家国产AI算力厂商宣布适配DeepSeek,吉利汽车、岚图汽车等汽车厂商计划通过蒸馏训练优化车载AI功能,百度搜索和文心智能体平台宣布将全面接入DeepSeek和文心大模型最新的深度搜索功能,微信已为搜索功能接入DeepSeek-R1模型。
DeepSeek的使用入口
- 官方官网、官方API平台、各大应用商店、第三方工具接入、自己搭建部署、私有化部署(本地部署)。
DeepSeek的日常应用场景
- 文本生成:文章写作、诗歌创作、文案生成、剧本设计等。
- 摘要与改写:生成论文摘要、外文翻译、文本风格转换等。
- 结构化生成:生成表格、代码注释等。
- 自然语言处理:语义分析、意图识别、信息提取、情感分析等。
- 文本分类:文章分类、标签生成、垃圾内容监测等。
- 知识推理:回答问题、原因分析、知识推理等。
- 代码编程:代码生产、代码生成、代码补全、代码调试等。
- 图表绘制:生成SVG矢量图、绘制简单图表。
DeepSeek的使用方法
- 提示语(Prompt):
- 推理模型:简洁指令,明确任务目标和需求,信任其内化能力,避免启发式提问。
- 通用模型:需要进行推理步骤引导,需要补偿性引导,不能过度信任。
- 版本参数量:
- DeepSeek-R1-1.5B、DeepSeek-R1-7B、DeepSeek-R1-8B、DeepSeek-R1-14B、DeepSeek-R1-32B、DeepSeek-R1-70B、DeepSeek-R1-671B。
本地化部署配置要求
- 根据不同参数量的模型,对CPU、内存、显卡、显存等配置有不同要求。