您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[国金证券]:基金量化观察:性能对标OpenAI o1,Deepseek-R1推理性能评测 - 发现报告

基金量化观察:性能对标OpenAI o1,Deepseek-R1推理性能评测

2025-01-21高智威、赵妍国金证券M***
AI智能总结
查看更多
基金量化观察:性能对标OpenAI o1,Deepseek-R1推理性能评测

DeepSeek发布最新推理模型R1 2025年1月20日晚,DeepSeek微信公众号宣布了DeepSeek-R1版本模型的正式上线,这是继2024年11月20日上线的DeepSeek-R1-Lite预览版之后,最新的推理模型。DeepSeek-R1在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力,在数学、代码、自然语言推理等多个任务上,性能比肩OpenAI o-1217模型。目前该模型的DeepSeek网页端、手机APP、API接口、开源版本均已同步上线。 ETF市场回顾 从一级市场资金流动情况来看,上周(2025.01.13-2025.01.17)已上市ETF资金净流入合计14.11亿元,其中股票型ETF资金净流入78.43亿元,跨境ETF资金净流入19.81亿元,商品型ETF资金净流出10.10亿元,债券型ETF资金净流出74.03亿元。 在股票型ETF中,宽基ETF上周资金净流入80.24亿元,上周沪深300ETF资金净流入43.37亿元,中证1000ETF资金净流入34.04亿元,中证500ETF资金净流入18.70亿元,A500ETF资金净流入10.56亿元,科创50ETF资金净流入5.87亿元。 主题行业ETF上周资金净流入-0.93亿元。上周高端制造、科技、周期板块ETF资金净流入额分别为7.48亿元、7.10亿元、2.54亿元,医药生物、消费、金融地产板块ETF资金净流出额分别为4.37亿元、4.50亿元、8.13亿元。 上周共有15只ETF产品申报,多只科创板综合交易型开放式指数基金集中申报。 主动权益及增强指数型基金表现跟踪 主动权益型基金中上周表现前五名的基金包括:前海开源沪港深乐享生活(004320.OF)、永赢半导体产业智选A(015967.OF)、格林碳中和主题A(015856.OF)、同泰开泰A(007770.OF)、鹏华碳中和主题A(016530.OF),它们的收益率分别为9.65%、9.20%、9.00%、8.70%、8.66%。 上周主动量化基金上周收益率中位数为3.24%,近1年以来收益率中位数为7.85%。上周TMT主题基金业绩相对较好,收益率中位数为3.88%。2025年以来,金融地产与TMT行业主题基金业绩领先,收益率中位数分别为25.61%、22.21%。 在沪深300增强指数型基金中,安信量化精选沪深300指数增强A(003957.OF)上周表现最佳,相对基准的超额收益率为1.65%。在中证500增强指数型基金中,鹏华中证500指数增强A(014344.OF)上周表现出色,相对业绩基准的超额收益率为0.58%。在中证1000增强指数型基金中,太平中证1000指数增强A(015466.OF)上周取得了0.68%的超额收益率。在国证2000增强指数型基金中,鹏华国证2000指数增强A(017892.OF)表现最优,取得了0.72%的超额收益率。 风险提示 以上结果通过历史数据统计、建模和测算完成,在政策、市场环境发生变化时模型存在失效的风险;基金历史业绩不代表未来;ETF二级市场价格波动风险。基金相关信息及数据仅作为基金研究使用,不作为募集材料或者宣传材料。 1、DeepSeek发布最新推理模型R1 2025年1月20日晚,DeepSeek微信公众号宣布了DeepSeek-R1版本模型的正式上线,这是继2024年11月20日上线的DeepSeek-R1-Lite预览版之后,最新的推理模型。 DeepSeek-R1模型以DeepSeek-V3模型为基础,通过结合大规模强化学习、冷启动数据、适当的奖励机制、自进化特性以及高效的训练算法,成功实现了深度思考的能力,在数学、代码、自然语言推理等多个任务上,性能比肩OpenAI o-1217模型。 图表1:DeepSeek-R1与其他模型对比 1.1模型推理能力测评 首先,为了对比V3和R1模型的推理能力差异,我们对一些常见的考察逻辑思维能力的问题进行了测试。 1)问题1:给你一个装满水的浴缸,旁边有一个勺子和一个碗,你怎样把缸里的水排出去?从各个模型的答案来看,DeepSeek-R给出了标准答案,答案优于DeepSeek-R3和ChatGPT o1模型。 图表2:DeepSeek-R1对问题1的答案 图表3:DeepSeek-V3对问题1的答案 图表4:ChatGPT o1对问题1的答案 2)问题2:一辆出租车在公路上正常行驶,并却没有违反任何交通规则,却被一个police给拦了,为什么?从问题2的答案来看,DeepSeek-R1答案完全正确,答案优于DeepSeek-R3,ChatGPT o1答案错误。 图表5:Deepseek-R1对问题2的答案 图表6:Deepseek-V3对问题2的答案 图表7:ChatGPT o1对问题2的答案 1.2金融文本分析能力测评 首先,我们测试了,DeepSeek的R1、V3模型及ChatGPT o1模型是否能够根据上市公司主营业务判定概念股,考验其推理判定能力。根据我们提出的低空经济概念,DeepSeek的R1及V3模型均能给出正确的判定结果,并且准确输出该股票所属的低空经济产业链的具体环节。 图表8:DeepSeek-R1对低空经济概念股的判定结果 图表9:DeepSeek-V3对低空经济概念股的判定结果 图表10:ChatGPT o1模型对低空经济概念股的判定结果 我们也对DeepSeek的R1及V3模型能否准确梳理基金经理调研纪要中的投资框架进行了测评。我们要求大模型从整体投资理念、资产配置框架、行业配置框架、风格配置框架、选股框架、交易框架、风控框架等多个维度对XX基金经理调研纪要进行信息总结提取,并严格限定了输出结果的格式。 从结果来看,DeepSeek两个模型均能按照提示词要求的格式和内容提取到基金经理投资框架信息。但相比之下,DeepSeek-R1模型对投资框架的梳理更为简练,总结性更强,语言表达更为专业。而ChatGPT o1模型总结的内容较为简洁,但不及DeepSeek-R1模型输出的投资框架丰富。 图表11:DeepSeek-R1对调研纪要的提取结果 图表12:DeepSeek-V3对调研纪要的提取结果 图表13:ChatGPT o1模型对调研纪要的提取结果 综上,在我们设置的金融文本分析任务中,DeepSeek-R1模型表现出色, 表现优于DeepSeek-V3,甚至可能优于ChatGPT o1模型。 1.3模型使用:网页、API、开源模型 网页端及最新推出的手机APP,打开“深度思考”模式,即可免费调用最新版DeepSeek-R1完成各类推理任务,暂无使用次数限制。 API接口方面 ,DeepSeek-R1上线API, 对用户开放思维链内容输出 ,通过设置“model='deepseek-reasoner'”即可调用。 DeepSeek-R1目前支持的上下文长度为64K(输出的reasoning_content长度不计入64K),仍不及ChatGPT的o1及o1-mini模型。API价格方面,目前DeepSeek-R1价格是DeepSeek-V3模型两倍,百万tokens输出价格达到16元,但较ChatGPT的o1及o1-mini模型仍有较大的价格优势。 图表14:DeepSeek-R1 API接口价格 开源模型方面 ,DeepSeek今日同步开源模型权重 ,开源了DeepSeek-R1-Zero和DeepSeek-R1两个660B模型。此外,DeepSeek在协议授权等方面进行了宽松的调整,开源仓库(包括模型权重)统一采用标准化、宽松的MIT License,完全开源,不限制商用,无需申请。在更新的线上产品的用户协议中,明确允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。 2、ETF市场回顾 截至2025年1月17日,全市场已上市非货币ETF共1020只,上周共2只ETF上市。 2.1一级市场资金流动情况(2025.01.13-2025.01.17) 我们按每日份额较前一日增加额乘以前一日净值的方式计算了ETF每日的净申购/赎回额,并对发生份额拆分的ETF进行处理。 从一级市场资金流动情况来看,上周已上市ETF资金净流入合计14.11亿元,其中股票型ETF资金净流入78.43亿元,跨境ETF资金净流入19.81亿元,商品型ETF资金净流出10.10亿元,债券型ETF资金净流出74.03亿元。 在股票型ETF中,宽基ETF上周资金净流入80.24亿元,上周沪深300ETF资金净流入43.37亿元,中证1000ETF资金净流入34.04亿元,中证500ETF资金净流入18.70亿元,A500ETF资金净流入10.56亿元,科创50ETF资金净流入5.87亿元。 主题行业ETF上周资金净流入-0.93亿元。上周高端制造、科技、周期板块ETF资金净流入额分别为7.48亿元、7.10亿元、2.54亿元,医药生物、消费、金融地产板块ETF资金净流出额分别为4.37亿元、4.50亿元、8.13亿元。 图表15:各类非货币ETF资金流情况(亿元) 图表16:股票型ETF资金流情况(亿元) 图表17:宽基及主题/行业型ETF资金流情况(亿元) 2.2二级市场交易情况(2025.01.13-2025.01.17) 2.2.1ETF交易情况 上周非货币ETF的成交金额合计为9690.81亿元。其中股票型ETF的周成交额为4522.72亿元。在股票型ETF中,宽基ETF的成交额最高,其中A500ETF周成交额最高。在主题/行业ETF中,科技ETF周成交额最高。 从ETF融资融券情况来看,上周ETF融资净买入额为0.98亿元,其中科创50ETF融资净买入额为1.25亿元,科技ETF融资净买入额为2.11亿元,相对更获杠杆资金青睐。 图表18:各类ETF交易情况 图表19:股票型ETF交易情况 图表20:宽基及主题/行业ETF交易情况 图表21:上周各类ETF成交额前5名一览 2.3增强策略ETF业绩跟踪(2025.01.13-2025.01.17) 截至2025年1月17日,已有33只增强策略ETF上市交易,包含8只中证1000增强策略ETF,7只中证500增强策略ETF,4只中证2000增强策略ETF,3只沪深300增强策略ETF,3只科创50增强策略ETF,2只创业板指增强策略ETF,2只科创100增强策略ETF,1只MSCI中国A50互联互通增强策略ETF,1只上证50增强策略ETF,1只中证800增强策略ETF,1只科创创业50增强策略ETF。 上周各类增强策略ETF中,18只增强策略ETF的表现超过业绩比较基准。近1年以来,成立满1年的26只增强策略ETF中有22只取得正超额。近1年以来,招商中证1000增强策略ETF业绩最佳,近1年以来获得12.22%的超额收益率,2025年以来,华泰柏瑞中证500增强策略ETF业绩最佳,2025年以来获得1.87%的超额收益率。 图表22:部分已上市增强策略ETF表现跟踪(数据截至2025.01.17,筛选时剔除成立不满1年的基金) 2.4本周非货币ETF申报、认购及上市情况(2025.01.20-2025.01.24) 2.4.1上周非货币ETF基金申报情况 上周共有15只ETF产品申报,其中包含集中申报的12只上证科创板综合ETF。 图表23:上周申报ETF一览 2.4.2本周新发行非货币ETF情况 本周无ETF产品发行。 2.4.3本周非货币ETF上市情况 本周共有4只ETF上市,包括中证A500ETF、创业板50ETF、上证基准做市公司债ETF。 图表24:本周上市ETF一览 3、主动权益及增强指数型基金表现跟踪 3.1绩优基金跟踪(2025.01.13-2025.01.17) 主动权益型基金中上周表现前五名的基金包括:前海开源沪