基于样本加权与风格约束：对端到端模型泛化性的思考与改进

专题报告2024年12月12日 【AI+HI系列（6）】 对端到端模型泛化性的思考与改进——基于样本加权与风格约束 背景与目标 华创证券研究所 当样本外的数据分布与样本内存在偏差时，模型预测偏差可能导致实际应用中的高昂损失。面对近年复杂多变的市场风格，本篇报告以端到端模型的泛化性为出发点，旨在提高模型稳健性。基于SVE指标，我们发现端到端GRU模型在“未见过”的数据上表现不佳，由此展开如何降低端到端模型泛化风险的研究。 证券分析师：王小川电话：021-20572528邮箱：wangxiaochuan@hcyjs.com执业编号：S0360517100001 模型分析与设计 联系人：洪远邮箱：hongyuan@hcyjs.com 以Barra风格为切入点，主观上我们期望端到端模型能在不同市场主导风格时期、不同风格暴露的股票上均保持稳健性。然而，模型实际结果与预期存在差异，这可能是模型平均风险最小化的训练方式所导致的“盲区”。 相关研究报告 针对这一局限，我们在GRU基线模型基础上，提出两种改进方案：基于分组样本加权的GRU DRO模型和基于风格约束的GRU CONST模型。两种方法均独立于模型架构设计，具有良好的通用和灵活性。 《AI+HI系列（4）：CrossGRU：基于交叉注意力的时序+截面的端到端模型》2024-04-19《AI+HI系列（5）：CrossGRU-2：基于Patch与 测试结果 多尺度时序改进端到端模型》2024-07-04 在中证全指因子IC、20分组测试上： GRU DRO模型10日RankIC达14.3；分组多头TOP组超额年化收益39.67%，较基线GRU提升4%；超额夏普比率1.55，较基线提升0.12；2024年最大回撤-16%，优于基线的-21%。 GRU CONST模型的10日IC最高达到为14.1；TOP组整体表现与基线持平，在2024年9-11月区间，强/弱约束设置下，TOP组超额收益分别为4.24%、-1.58%，较基线分别提高7.62%、1.8%。 在1000指增应用上： 两个改进模型均实现了超额年化收益和夏普比率的提升，GRUDRO模型超额年化较基线提高1.17%，最大回撤相比基线降低2%，Calmar比率为3，优于基线的1.99；GRU CONST模型超额年化较基线提高约1.5%，在回撤方面与基线持平。 风险提示： 策略基于历史数据回测，不保证未来数据的有效性。深度学习模型存在过拟合风险。深度学习模型受随机数影响。模型实现与参考文献原文存在差异。 投资主题 报告亮点 基于深度学习模型进行端到端因子挖掘已有较多工作，24年市场环境的变化与波动对已有方法的稳健性提出挑战；在本篇报告中，我们对端到端模型的泛化性进行了重新思考，尝试分析深度学习模型在极端市场环境的不佳表现原因，对模型进行改进。我们进一步探索深度学习模型应用的理论支持和实用方法，探索更为稳健的量化模型，助力量化投资的发展。 投资逻辑 深度学习算法训练目标为最小化训练集的平均风险，因此在样本外少数事件发生时可能表现不佳，为提升模型在动态且复杂市场环境下的适应能力和预测准确性，我们可以基于一定的主观先验知识对模型的学习流程进行干预。本篇报告继续对端到端量价因子深度学习模型进行探讨与改进，探索深度学习技术的运用。 目录 一、动机.....................................................................................................................5 二、模型泛化性.........................................................................................................6 （一）泛化评估.........................................................................................................6（二）风格局限.........................................................................................................8 （一）GroupDRO....................................................................................................11（二）风格惩罚项...................................................................................................11 四、实验...................................................................................................................13 （一）模型说明.......................................................................................................13（二）测试结果.......................................................................................................141、风格测试.........................................................................................................142、IC测试............................................................................................................143、分组测试.........................................................................................................154、指增测试结果.................................................................................................175、小结.................................................................................................................19 六、风险提示...........................................................................................................21 图表目录 图表1 GRU基线模型.....................................................................................................6图表2模型表征训练-测试偏移.....................................................................................7图表3 2021年-基线模型因子多空................................................................................8图表4 2024年-基线模型因子多空................................................................................8图表5 2021年基线模型1000指增表现.......................................................................8图表6 2024年基线模型1000指增表现.......................................................................8图表7环境对图像模型的影响......................................................................................9图表8因子风格偏好......................................................................................................9图表9不同域间因子10日IC对比............................................................................10图表10不同域间因子多空收益累加对比..................................................................10图表11模型流程..........................................................................................................13图表12模型超参数汇总..............................................................................................13图表13不同模型的风格相关性..................................................................................14图表14 IC测试结果汇总.............................................................................................14图表15 TOP组超额净值走势对比（全区间）..........................................................15图表16 TOP组超额净值走势对比（2024年）.........................................................15图表17 TOP组逐年收益..............................................................................................15图表18 20分组年化收益对比.....................................................................................15图表19模型TOP组对比...............................................