机器学习应用系列：强化学习驱动下的解耦时序对比选股模型

摘要 西 南证券研究院 分析师：祝晨宇执业证号：S1250525100004邮箱：zhcy@swsc.com.cn 相 关研究 空间编码器构建：本文以时间卷积网络TCN作为beta空间特征的编码器，以多尺度Transformer模型作为Alpha空间编码器，以门控残差MLP作为Theta空间编码器。对各个空间分别进行收益预测训练，各空间编码器均能有效提取目标信息，且生成因子具备一定选股能力。自2019年1月至2025年11月，Beta_TCN、Alpha_Transformer、Theta_ResMLP因子IC分别为0.0954、0.1128、0.0485，多头组合前10%年化收益率分别为27.73%、32.66%以及23.88%。除此之外，各空间训练得到的因子彼此间相关性较低且具备一定互补性，为后续多空间融合奠定一定基础。 1.DAFAT：基于Transformer模型的自适应解决方案(2025-08-29)2.加权影线频率与K线形态因子(2025-08-28)3.可转债K线看跌信号与交易增强策略——量化方法在债券研究中的应用四(2025-06-09)4.基于历史K线形态的因子选股研究(2025-05-26)5.科技成长产业变革趋势下基金产品投资策略评价与优选(2025-05-26)6.PINN信息约束与时序截面双流网络选股模型(2025-04-09)7.基于产业链和交易结构的豆粕期货择时框架(2025-03-19)8.可转债K线技术分析与K线形态因子——量化方法在债券研究中的应用三(2025-03-14)9.识时通变：宏微同频成长价值风格轮动策略(2025-01-10)10.超额收益如何回归？——2025年金融工程策略报告(2025-01-06) 融合模型对照组实验：本文分别测试了两类空间融合对照组实验：1）直接对三个空间训练出的因子进行等权求和；2）将三个空间的编码信息进行合并，并通过单层线性层进行处理并接入预测头进行收益率预测。自2019年1月至2025年11月，DTLC等权融合模型因子月平均IC为0.1202，多头组合（前10%）年化收益率32.46%；线性融合DTLC模型因子月平均IC为0.1239，多头组合年化收益率32.95%。 强化学习驱动空间融合：本文引入强化学习来实现空间的动态复权融合，即在DTLC模型的三个编码器后引入强化学习动态复权的空间融合机制。该部分将三个子空间编码与市场环境特征共同输入策略网络，通过近端策略优化（PPO）算法动态生成空间权重，实现自适应加权融合，最终通过预测头输出未来收益率预测。自2019年1月至2025年11月，DTLC_RL因子月平均IC为0.1250，多头组合年化收益率34.77%，显著优于DTLC_Linear多头表现。可见强化学习空间融合机制的加入使得因子性能有所提升。 指数增强测试：自2019年1月至2025年11月，DTLC_RL因子沪深300指数增强相对指数年化超额收益率13.72%，近一个月、三个月、一年、三年超额收益率分别为-0.87%、1.53%、14.99%以及12.58%；DTLC_RL因子中证1000指数增强相对指数年化超额收益率20.37%，近一个月、三个月、一年、三年超额收益率分别为3.00%、4.52%、19.67%以及13.76%。 风险提示：报告对应的相关结论完全基于公开的历史数据进行算法构建、统计以及计算，文中部分数据有一定滞后性，同时也存在第三方数据提供不准确或者缺失等风险；策略效果结论仅针对于回测区间得出，并不预示其未来表现，也不能保证未来的可持续性，亦不构成投资收益的保证或投资建议。 目录 1深度学习模型简介.......................................................................................................................................................................................1 1.1 TCN时间卷积网络模型........................................................................................................................................................................21.2 TransFormer模型...................................................................................................................................................................................41.3残差网络模型.........................................................................................................................................................................................61.4对比学习..................................................................................................................................................................................................81.5强化学习近端策略优化（PPO）.......................................................................................................................................................9 2.1市场维度特征提取：Beta空间.......................................................................................................................................................112.2个股特异特征提取：alpha空间......................................................................................................................................................122.3个股基本面特征提取：Theta空间.................................................................................................................................................152.4空间融合初探.......................................................................................................................................................................................17 3强化学习空间融合.....................................................................................................................................................................................20 4模型测试与指数增强策略........................................................................................................................................................................23 4.1沪深300指数增强..............................................................................................................................................................................234.2中证1000指数增强............................................................................................................................................................................25 6风险提示.......................................................................................................................................................................................................28 图目录 图1：强化学习驱动下的解耦时序对比学习(DTLC_RL)网络结构图....................................................................................................1图2：TCN整体架构.........................................................................................................................................................................................2图3：TCN模块结构示意图............................................................................................................................................................................3图4：TransFormer网络结构.................................................................................................................