AI智能总结
证券研究报告 |报告要点 DeepSeek开源大模型推出后,成为智能驾驶研发端关注的主要方向。DeepSeek在数据生成、数据处理、模型蒸馏等方面具备较强能力。未来,DeepSeek有望成为智能驾驶加速的关键,保证高效训练的同时,打通车云模型关系,并持续降低训练成本。未来功能实现层面来看,尚未实现智能驾驶功能完整性部署前,DeepSeek的使用或加速缩小各家车企之间的时间差距。 实现功能突破后,智能驾驶领先企业有望保持用户粘性和高阶功能性能的领先。 |分析师及联系人 高登 陈斯竹 喻虎 于健 SAC:S0590523110004 SAC:S0590523100009 SAC:S0590524120002 请务必阅读报告末页的重要声明 行业研究|错误!未定义书签。 行业研究|行业专题研究 glzqdatemark22025年02月09日 汽车 DeepSeek对智能驾驶影响几何? 行业事件 投资建议:上次建议: 强于大市(维持)强于大市 2024年12月26日,DeepSeek正式发布DeepSeek-V3模型,性能对齐海外领军闭源模型。2025年1月20日,DeepSeek发布DeepSeek-R1模型,并同步开源模型权重,性能对齐OpenAI-o1正式版。 相对大盘走势 DeepSeek有望加速高阶智能驾驶落地 汽车 沪深300 DeepSeek对底层架构、训练框架、模型推理等方面进行了关键创新,实现了与全球领军AI模型的匹敌,对智能驾驶的开发有重要借鉴意义。数据生成方面,可通过数据增强和合成来应对极端场景。数据处理方面,借鉴DeepSeek流式数据处理方式,结合边缘计算、记忆回放等技术实时数据处理与增量学习。同时借鉴知识蒸馏降低数据依赖提升智能驾驶开发效率,并结合跨模态对齐将智能驾驶模型能力在车端轻量化部署,以适应不同配置的车型,有望加速高阶智驾落地。 50% 30% 10% -10% 2024/2 DeepSeek是智驾重要工具,而非颠覆格局 DeepSeek作为开源基础模型,引入后有望加速智能驾驶的训练速度,降低智能驾驶的训练成本,未来有望成为智驾训练的主要工具,同时,优质云端模型和强蒸馏能力成为影响迭代效率的关键因素。DeepSeek或无法改变行业格局,一方面智能驾驶安全边界较高,仍需要较长训练时长保证功能安全;另一方面针对不同车型算力和架构,蒸馏后仍需要完成定向开发。未来功能实现层面来看,尚未实现智能驾驶功能完整性部署前,DeepSeek的使用或加速缩小各家车企之间的时间差距。 相关报告 1、《汽车:大型车:自主品牌何以向高端突围?》2025.01.14 2、《汽车:政策护航稳增长,智能创新迎未来— —汽车行业2025年度投资策略 》2025.01.13 实现功能突破后,智能驾驶领先企业有望保持用户粘性和高阶功能性能的领先。 投资建议:推荐积极布局且智能化技术领先的公司 DeepSeek的底层架构和技术创新对智能驾驶开发具有重要的借鉴意义,有望加速高阶智驾落地,产业链有望迎来新的投资机遇。整车推荐理想汽车、小鹏汽车、比亚迪、吉利汽车、赛力斯、长安汽车、上汽集团等。零部件厂商推荐电连技术、伯特利、经纬恒润、德赛西威等。 风险提示:技术发展不及预期风险、行业竞争加剧风险、政策落地不及预期风险 扫码查看更多 请务必阅读报告末页的重要声明 1.DeepSeek有望加速高阶智能驾驶落地 1.1DeepSeek引领AI产业技术革新 DeepSeek技术创新引领AI产业变革。随着2024年底以及2025年初深度求索发布DeepSeek-V3和DeepSeek-R1模型,凭借一系列独创性和改进性技术以及精妙的策略,实现了与全球最强AI模型的匹敌,标志着我国在AI大模型领域实现技术突破。 训练端,DeepSeek通过自研DualPipe训练框架、8位浮点量化技术、改进的MoE和MTP等创新技术,有效提升了计算效率,大幅降低训练成本。推理端,DeepSeek通过MLA技术、改进的RL和蒸馏技术,大幅提升了推理效率,其性能可与全球顶尖AI模型匹敌。我们认为,凭借架构和算法的优化以及全面开源策略,DeepSeek有望引领全球AI大模型技术革新,加速AI大模型在各个领域的应用落地。 图表1:DeepSeek-V3与不同模型性能对比 请务必阅读报告末页的重要声明 图表2:DeepSeek-R1与不同模型性能对比 DeepSeek通过技术创新实现高性能和低成本。架构方面,DeepSeek-V3基于Transformer框架 , 通过多头潜在注意力 (MLA)、DeepSeek混合专家模型(DeepSeekMoE)、无辅助损失的负载均衡策略以及多令牌预测(MTP)等核心创新进行架构设计。训练方面,通过自研DualPipe算法和基于FP8数据格式的混合精度训练框架,减少训练内存需求,提升训练效率。推理方面,DeepSeek-R1基于DeepSeek-V3基础模型,通过大规模强化学习技术增强推理能力,成功地将强化学习带来的强推理能力泛化到其他领域;同时采用模型蒸馏技术,显著提升小模型的推理能力。 请务必阅读报告末页的重要声明 图表3:DeepSeek-R1训练流程 DeepSeek-V3架构创新 公司在模型架构设计上基于Transformer框架进行创新。MLA(Multi-LatentMemory)多头潜在注意力机制通过压缩注意力机制减少所需要处理的信息量,提高效率; DeepSeekMoE架构则采用更细粒度的专家和共享专家提升训练效率;无辅助损失的负载均衡则确保专家间工作量均衡,不依赖额外损失项;多令牌预测MTP则提高模型的预测能力和数据效率。 (1)MLA(Multi-Latent Memory)多头潜在注意力:MLA通过低秩联合压缩注意力的键和值,减少推理时的Key-Value(KV)缓存,提升推理效率。 (2)DeepSeekMoE:传统MoE依赖辅助损失平衡专家负载,但可能损害模型性能。DeepSeek-V3提出动态偏置调整策略,通过监控专家负载并实时调整路由偏置,实现均衡分配,同时避免性能损失。DeepSeekMoE使用细粒度专家并设置共享专家,每个MoE层配置了1个共享专家和256个路由专家,每个输入token可以激活8个路由专家,在保证模型处理效果的同时避免过度激活专家带来的计算资源浪费。同时支持跨节点通信优化,结合无辅助损失的负载均衡策略,确保训练时专家负载平衡,提高计算效率。 请务必阅读报告末页的重要声明 (3)多令牌预测(Multi-TokenPrediction,MTP):通过设置多词元预测训练目标,让模型预测多个未来词元,增强训练信号,提升模型性能,还可用于推测解码加速推理。 图表4:DeepSeek-V3基本架构示意图 请务必阅读报告末页的重要声明 图表5:DeepSeek多Token(MTP)预测架构 DeepSeek训练方式的创新 DeepSeek-V3和DeepSeek-R1均基于大规模预训练,使用了创新性的训练算法和框架实现低成本高性能,如FP8混合精度训练框架、DualPipe算法。DeepSeek通过运用FP8混合精度训练框架,采用分块量化和动态缩放策略,结合DualPipe算法、节点限制路由及无令牌丢弃等技术,在超大规模模型训练中实现了训练效率提升、内存占用减少与训练稳定性的平衡。DeepSeek对核心计算采用FP8精度以加速训练、减少内存消耗,同时对部分关键组件保持较高精度以保证稳定性。首次在超大规模模型上验证FP8训练的可行性,通过分块量化(Tile-wise)和动态缩放策略解决低精度溢出问题,在保持训练稳定性的同时提升计算速度并减少GPU内存占用。通过DualPipe算法实现高效的流水线并行,重叠计算和通信阶段,减少流水线气泡;采用节点限制路由、无令牌丢弃等技术优化训练过程。 请务必阅读报告末页的重要声明 图表6:采用FP8数据格式的混合精度训练框架 强化学习在大语言模型中的应用 DeepSeek-R1-Zero采用组相对策略优化(GRPO)算法进行强化学习。DeepSeek-R1-Zero以DeepSeek-V3为基础模型,直接应用强化学习(RL),通过Group Relative PolicyOptimization(GRPO)算法优化模型策略,采用基于规则的奖励模型引导训练。DeepSeek-R1-Zero直接基于基础模型(如DeepSeek-V3-Base)通过大规模强化学习(RL)训练,无需任何监督微调(SFT)数据,仅依赖规则化奖励(如答案正确性 、 格式规范性 ) 驱动模型自我进化 。 采用GRPO(Group Relative Policy Optimization)算法,通过组内样本的奖励相对比优化策略模型,降低计算成本。 图表7:DeepSeek-R1-Zero与OpenAI o1系列模型在推理相关基准测试中的对比 请务必阅读报告末页的重要声明 DeepSeek-R1采用多阶段训练进一步提升推理能力。DeepSeek-R1引入冷启动数据进行多阶段训练,结合推理导向的RL、拒绝采样和监督微调等方法提升推理性能。 DeepSeek-R1在R1-Zero的基础上引入冷启动数据(少量高质量人工标注的长链推理示例)进行初步SFT,随后分阶段结合强化学习RL训练: (1)首先推理导向的强化学习RL,针对数学、代码等结构化任务优化; (2)其次,通用场景强化学习RL,融合人类偏好(如可读性、无害性),平衡推理性能与用户体验; (3)最后,拒绝采样与再训练RL,通过模型生成数据筛选高质量样本,结合非推理任务数据(如写作、翻译等)进行二次SFT。 模型蒸馏显著提升小模型推理能力 DeepSeek-R1的推理能力被蒸馏到DeepSeek-V3中,生成高质量的训练样本并进行监督微调。知识蒸馏(Knowledge Distillation)是一种模型压缩技术,用于将大型复杂模型(教师模型)的知识迁移到小型模型(学生模型)中,以提高学生模型的性能,同时保持模型的高效性和可扩展性。具体来说,DeepSeek-R1生成高质量的训练样本,这些样本被用作DeepSeek-V3的训练数据,从而显著提升了DeepSeek-V3的推理能力。 图表8:DeepSeek-R1蒸馏模型与其他可比模型在推理相关基准测试中的对比 1.2DeepSeek技术创新对智能驾驶有重要借鉴意义 DeepSeek有望加速高阶智驾落地。DeepSeek在AI领域的优势主要源于它具备高效 请务必阅读报告末页的重要声明 架构设计、先进算法、数据处理与增强、优化与加速、持续学习与更新、安全与隐私、用户体验优化。我们认为,DeepSeek对高阶智能驾驶的开发落地有重要的借鉴意义,有望加速高阶智能驾驶应用落地。数据生成方面,可通过数据增强和合成来应对极端场景。数据处理方面,采用DeepSeek流式数据处理方式,结合边缘计算、弹性权重巩固等技术,实现自动驾驶中的实时数据处理与增量学习。模型处理方面,可通过小样本学习降低数据依赖,同时通过跨模态对齐和知识蒸馏,将智能驾驶模型能力在车端轻量化部署,以适应不同配置的车型,加速高阶智驾落地。 通过数据增强和合成应对智能驾驶极端场景。汽车行驶环境非常复杂,真实路测难以覆盖所有危险场景(如行人突然横穿马路)。DeepSeek可构建高保真的虚拟驾驶场景(如极端天气、突发事故),通过合成数据训练智能驾驶模型,从而补充真实路测数据中极端场景数据的不足,提升模型对复杂场景的适应能力。DeepSeek通过构建“语言模型引导-物理引擎渲染-闭环评估优化”的新型数据工厂,可有效提升极端场景覆盖度,使模型提前学习应对策略,避免实际路测中的安全隐患。通过云端协同的方式,将数据合成和仿真训练在云端完成,车端仅需加载轻量化模型。 图表9:DeepSeek在数据增强