计算机行业：国产开源MoE模型DeepSeek-V2性能媲美GPT-4，大模型价格战拉开帷幕

2024年5月12日 核心观点： 分析师 性 能 直 逼GPT-4Turbo，综 合 能 力 位 于 大 模 型 第 一 梯 队。DeepSeek-V2是 一个 参 数 为2360亿 的MoE模 型 ， 每 个token仅 激 活210亿参 数 ， 支 持128K的上 下 文 长 度。1） 纵 向 对 比 ： 对 比 去 年11月 发 布 的DeepSeek67B性 能 取 得 显著 提 升 ， 训 练 成 本 节 省 了42.5%，KV缓 存 减 少 了93.3%， 最 大 生 成 吞 吐 量 提高 到 了5.76倍。2）横 向 对 比：上 下 文 长 度 对 标GPT-4Turbo（128K）；中 文综 合 能 力（AlignBench） 超 越Llama 3，在 开 源 模 型 中表 现最 强，与文 心4.0等 闭 源 模 型 在 评 测 中 处 于 同 一 梯 队， 仅 次 于GPT-4 Turbo；英 文 综 合 能 力（MT-Bench）与 最 强 的 开 源 模 型LLaMA3-70B处 于 同 一 梯 队，超 过MoE开 源模 型Mixtral8x22B。此 外在 知 识 、 数 学 、 推 理 、代 码等方 面也有 出 色 的 性 能。 研究助理胡天昊：（8610）80927637：hutianhao_yj@chinastock.com.cn DeepSeek-V2训 练 计 算 量 降 低，推 理 能 力 表 现 高 效。DeepSeek-V2训 练 数 据集 是 由8.1Ttoken的 高 质 量 、 多 源 预 训 练 语 料 库组 成 ， 采 用 的Transformer架构 中 由 一 个 注 意 力 模 块 和 一 个 前 馈 网 络 （FFN） 组 成 ， 并 且 在 注 意 力 机 制和FFN方 面 采 用 了 创 新 架 构：一 方 面 设 计 了MLA（Multi-headLatentAttention），利 用 低 秩 键 值 联 合 压 缩 来 消 除 推 理 时 键 值 缓 存 的 瓶 颈，DeepSeek-V2消 耗 的 显存 （KVCache） 只 有 同 级 别Dense模 型 的1/5-1/100， 每token成 本 大 幅 降 低；另 一 方 面 ，FFN采 用 高 性 能MoE架 构DeepSeekMoE， 以 经 济 的 成 本 训 练 强 大的 模 型 。我 们 认 为 ，DeepSeek-V2大 幅 提 升训 练 效 率 ，训 练 所 需 计 算 量 约为GPT-4的1/20， 但 性 能 基 本 上 相 差 无 几 ， 目 前 来 看 参 数 是 影 响 大 模 型 性 能 的关 键 因 素 之 一 ， 除 此 之 外 ， 架 构 优 化 能 有 效 提 升 降 低 训 练 成 本 ， 提 升 训 练 效率 ， 将 成 为 另 一 个 影 响 大 模 型 性 能 的 关 键 因 素 。 资料来源：Wind，中国银河证券研究院 API价 格 降 至 约GPT-4 Turbo百 分 之 一，大 模 型 价 格 战 即 将 拉 开 帷 幕，利好AI应 用 层 快 速 渗 透。目 前DeepSeek-V2 API定 价 为每 百 万token输 入1元、输 出2元（32K上 下 文），几 乎 低 于 所 有 市 面 上 主 流 大 模 型 价 格，约 为GPT-4Turbo的1/100。我 们 认 为 ，DeepSeek-V2提 升 数 据 集 质 量 及 优 化 架 构，成 本 大 幅 降 低 ， 在 价 格 方 面 提 升 竞 争 力 ， 大 模 型 将 逐 渐 进 入 价 格 战 时 期 ，AI应 用 将 快 速 渗 透 。 投 资 建 议 ：国 产 大 模 型 迭 代 加 速 ， 训 练 成 本 降 低 ， 进 一 步 加 速 应 用 端 落 地 ，而 应 用 端 推 广 又 将 进 一 步 催 生 算 力 新 需 求。建 议 重 点 关 注：1、国 产 算 力：海光 信 息 、 中 科 曙 光 、 神 州 数 码 、 曙 光 数 创 、 润 泽 科 技 ；2、 大 模 型 及 多 模 态：科 大 讯 飞 、 昆 仑 万 维 （ 传 媒 覆 盖 ） 、 万 兴 科 技 、 拓 尔 思 、 海 康 威 视 、 大 华 股份、商 汤-W（0020.HK）；3、AI医 疗：嘉 和 美 康、卫 宁 健 康；4、AI办 公：金 山 办 公、彩 讯 股 份；5、AI教 育：科 大 讯 飞、欧 玛 软 件、拓 维 信 息；6、AI法 律 ： 通 达 海 、 金 桥 信 息 、 华 宇 软 件 ；7、AI金 融 ： 恒 生 电 子 、 财 富 趋 势 、同 花 顺 ；8、AI能 源 ： 国 网 信 通 、 国 能 日 新 等 。 风 险 提 示 ：技 术 研 发 进 度 不 及 预 期 风 险 ； 供 应 链 风 险 ； 政 策 推 进 不 及 预 期 风险 ； 消 费 需 求 不 及 预 期 风 险 ； 行 业 竞 争 加 剧 风 险 。 分析师承诺及简介 吴 砚 靖TMT/科 创 板 研 究 负 责 人 北 京 大 学 软 件 项 目 管 理 硕 士，10年 证 券 分 析 从 业 经 验，历 任 中 银 国 际 证 券 首 席 分 析 师，国 内 大 型 知 名PE机 构 研 究 部 执 行 总 经理 。 具 备 一 二 级 市 场 经 验 ， 长 期 专 注 科 技 公 司 研 究 。 免责声明 本 报 告 所 载 的 全 部 内 容 只 提 供 给 客 户 做 参 考 之 用，并 不 构 成 对 客 户 的 投 资 咨 询 建 议，并 非 作 为 买 卖、认 购 证 券 或 其 它 金 融 工 具的 邀 请 或 保 证。客 户 不 应 单 纯 依 靠 本 报 告 而 取 代 自 我 独 立 判 断。银 河 证 券 认 为 本 报 告 资 料 来 源 是 可 靠 的，所 载 内 容 及 观 点 客 观 公 正，但 不 担 保 其 准 确 性 或 完 整 性。本 报 告 所 载 内 容 反 映 的 是 银 河 证 券 在 最 初 发 表 本 报 告 日 期 当 日 的 判 断，银 河 证 券 可 发 出 其 它 与 本 报 告所 载 内 容 不 一 致 或 有 不 同 结 论 的 报 告，但 银 河 证 券 没 有 义 务 和 责 任 去 及 时 更 新 本 报 告 涉 及 的 内 容 并 通 知 客 户。银 河 证 券 不 对 因 客 户使 用 本 报 告 而 导 致 的 损 失 负 任 何 责 任 。 本 报 告 可 能 附 带 其 它 网 站 的 地 址 或 超 级 链 接，对 于 可 能 涉 及 的 银 河 证 券 网 站 以 外 的 地 址 或 超 级 链 接，银 河 证 券 不 对 其 内 容 负 责。链 接 网 站 的 内 容 不 构 成 本 报 告 的 任 何 部 分 ， 客 户 需 自 行 承 担 浏 览 这 些 网 站 的 费 用 或 风 险 。 银 河 证 券 在 法 律 允 许 的 情 况 下 可 参 与、投 资 或 持 有 本 报 告 涉 及 的 证 券 或 进 行 证 券 交 易，或 向 本 报 告 涉 及 的 公 司 提 供 或 争 取 提 供包 括 投 资 银 行 业 务 在 内 的 服 务 或 业 务 支 持。银 河 证 券 可 能 与 本 报 告 涉 及 的 公 司 之 间 存 在 业 务 关 系，并 无 需 事 先 或 在 获 得 业 务 关 系 后通 知 客 户 。 银 河 证 券 已 具 备 中 国 证 监 会 批 复 的 证 券 投 资 咨 询 业 务 资 格。除 非 另 有 说 明，所 有 本 报 告 的 版 权 属 于 银 河 证 券。未 经 银 河 证 券 书面 授 权 许 可，任 何 机 构 或 个 人 不 得 以 任 何 形 式 转 发、转 载、翻 版 或 传 播 本 报 告。特 提 醒 公 众 投 资 者 慎 重 使 用 未 经 授 权 刊 载 或 者 转 发的 本 公 司 证 券 研 究 报 告 。 本 报 告 版 权 归 银 河 证 券 所 有 并 保 留 最 终 解 释 权 。 评级标准 机构请致电：深广地区：程曦0755-83471683 chengxi_yj@chinastock.com.cn苏一耘0755-83479312 suyiyun_yj@chinastock.com.cn上海地区：陆韵如021-60387901 luyunru_yj@chinastock.com.cn李洋洋021-20252671 liyangyang_yj@chinastock.com.cn北京地区：田薇010-80927721 tianwei@chinastock.com.cn唐嫚羚010-80927722 tangmanling_bj@chinastock.com.cn 中国银河证券股份有限公司研究院深圳市福田区金田路3088号中洲大厦20层上海浦东新区富城路99号震旦大厦31层北京市丰台区西营街8号院1号楼青海金融大厦公司网址：www.chinastock.com.cn