因子选股系列之九十五：DFQ强化学习因子组合挖掘系统

有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 金融工程 | 专题报告 研究结论 ⚫ 传统的Alpha模型往往单独挖掘每个因子，在挖掘过程中只关注每个因子自身的选股效力，忽略了单因子在应用中的组合需求。实际上我们更关注的是可以协同工作并产生综合效果的因子组合。 ⚫ 本文展示了一种新的因子组合挖掘框架，直接使用因子组合的表现来优化一个强化学习因子生成器，最终生成的是一组公式因子集合，这些因子协同使用具有较高的选股效力。这样做既能保留遗传规划算法公式化的优势，也能提升模型泛化能力，适应多种股票池，还能大幅提升运算效率。 ⚫ 基于强化学习的因子组合生成模型，由两部分组成：1) Alpha因子生成器：使用Maskable PPO模型生成动作，并以token序列的形式生成公式化的Alpha因子。2) Alpha因子组合模型：组合Alpha因子，并给出奖励信号。这两部分互相依赖：因子生成器通过生成新因子提高因子组合的性能。因子组合模型的性能作为奖励信号来优化因子生成器。通过不断重复此交互过程，提升因子组合的选股效力。 ⚫ DFQ强化学习模型分别在沪深300、中证500、中证1000指数成分股内进行训练测试。采用2015.1.1-2018.12.31的数据作为训练集，2019.1.1-2019.12.31为验证集。2020.1.1-2023.6.30为测试集。挖掘月频因子，考察因子预测未来20天股票收益时的表现。对于每个股票池的预测模型，选取5个不同的随机种子训练5个模型，将5个模型的合成因子值结果取平均作为最终模型的输出。 ⚫ DFQ强化学习因子明显优于人工因子和遗传规划因子，在三个股票池中都有很强的选股效力，市值偏向性低。在沪深300股票池中，测试集上rankic接近8%，RANKICIR接近1（未年化），5分组多头年化超额收益接近15%。在中证500股票池中，测试集上rankic达到8.5%，RANKICIR达到1.15（未年化），5分组多头年化超额收益达到8.22%。在中证1000股票池中，测试集上rankic达到11.4%，RANKICIR达到1.38（未年化），10分组多头年化超额收益达到13.65%。 ⚫ DFQ强化学习因子可完全替代人工因子，在300和500股票池中可替代遗传规划因子。强化学习合成因子对人工因子和遗传规划因子分别回归后，残差仍有显著选股效果，RANKIC超过5%，RANKICIR年化超过1。强化学习因子和神经网络因子间存在信息差异，互相之间都不能被完全解释，两两回归残差都具备选股效果。 ⚫ DFQ强化学习因子沪深300top50组合：20年以来年化超额收益近11%，单边年换手8倍，最大回撤8%。2023年到8.7号超额收益达到4.45%。中证500 top50组合：20年以来年化超额16%，单边年换手9倍，最大回撤11%。2023年到8.7号超额收益达到9.45%。中证1000中的top50组合：20年以来年化超额15%，单边年换手10倍，最大回撤16%。2023年到8.7号超额收益达到4%。 ⚫ DFQ强化学习因子沪深300成分内指数增强组合：20年以来年化对冲收益近8%，单边年换手8倍，最大回撤6%，每年均取得正超额，2023年到8.7号对冲收益达5.28%。中证500成分内指数增强组合：20年以来年化对冲收益超11%，单边年换手9倍，最大回撤8%，每年均取得正超额，2023年到8.7号对冲收益达5.59%。中证1000成分内指数增强组合：20年以来年化对冲收益超8%，单边年换手10倍，最大回撤11%，每年均取得正超额，2023年到8.7号对冲收益达1%。 风险提示 1. 量化模型失效风险。 2. 极端市场环境对模型的影响。 报告发布日期 2023年08月17日 证券分析师 杨怡玲 yangyiling@orientsec.com.cn 执业证书编号：S0860523040002 证券分析师 刘静涵 021-63325888*3211 liujinghan@orientsec.com.cn 执业证书编号：S0860520080003 香港证监会牌照：BSX840 UMR2.0——风险溢价视角下的动量反转统一框架再升级：——因子选股系列之九十四 2023-07-13 集成模型在量价特征中的应用：——因子选股系列之九十三 2023-07-01 基于时点动量的因子轮动：——因子选股系列之九十二 2023-06-28 基于循环神经网络的多频率因子挖掘：——因子选股系列之九十一 2023-06-06 DFQ遗传规划价量因子挖掘系统：——因子选股系列之九十 2023-05-28 分析师情感调整分数ASAS：——因子选股系列之八十九 2023-03-28 基于偏股型基金指数的增强方案：——因子选股系列之八十八 2023-03-06 分析师研报类alpha增强：——因子选股系列之八十七 2023-02-17 DFQ强化学习因子组合挖掘系统 ——因子选股系列之九十五 金融工程 | 专题报告 —— DFQ强化学习因子组合挖掘系统 有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 2 目 录 一、DFQ强化学习因子组合挖掘系统概述 ..................................................... 6 二、强化学习算法介绍 ................................................................................... 7 2.1 强化学习 ...................................................................................................................... 7 2.2 PPO算法 ..................................................................................................................... 8 三、基于强化学习的因子组合生成模型 ........................................................ 11 3.1 模型概述 .................................................................................................................... 11 3.2 公式化因子 ................................................................................................................. 11 3.3 Alpha因子生成器 ....................................................................................................... 12 3.4 因子评价 .................................................................................................................... 15 3.5 Alpha因子组合模型 .................................................................................................... 15 四、DFQ模型实验结果 ................................................................................ 18 4.1 数据说明 ..................................................................................................................... 18 4.2 运算用时 ..................................................................................................................... 19 4.3 特征与算子出现频次 ................................................................................................... 20 4.4 因子表现 ..................................................................................................................... 22 4.4.1 单因子表现 22 4.4.2 合成因子绩效表现 25 4.4.3 不同随机种子的相关性 28 4.5 与常见因子的相关性 ................................................................................................... 28 五、top组合表现 ......................................................................................... 30 5.1 top组合构建说明 ........................................................................................................ 30 5.2 沪深300 top50组合 ................................................................................................... 30 5.3 中证500 top50组合 ................................................................................................... 31 5.4 中证1000 top50组合 ................................................................................................. 32 六、指数增强组合表现 ................................................................................. 33 6.1 增强组合构建说明 ....................................................................................................... 33 6.2 沪深300指数增