机器学习应用系列：DAFAT：基于Transformer模型的自适应解决方案

摘要 西 南证券研究院 联系人：祝晨宇邮箱：zhcy@swsc.com.cn 相 关研究 动态位置编码自适应：针对Transformer模型传统正余弦位置编码存在的周期性 失 配 以 及 状 态 盲 区 等 问题 ， 本 文 提 出 了 双通 道 门 控 动 态 位 置编 码（Double-Gate DPE），分别包括时间周期编码以及市场状态编码，代替原有正余弦位置编码。经回测DPE_Transformer因子2019年1月至2025年7月IC均值为9.54%，多头组合年化收益率30.60%，月均单边换手率0.86X。 1.加权影线频率与K线形态因子(2025-08-28)2.可转债K线看跌信号与交易增强策略——量化方法在债券研究中的应用四(2025-06-09)3.基于历史K线形态的因子选股研究(2025-05-26)4.科技成长产业变革趋势下基金产品投资策略评价与优选(2025-05-26)5.PINN信息约束与时序截面双流网络选股模型(2025-04-09)6.基于产业链和交易结构的豆粕期货择时框架(2025-03-19)7.可转债K线技术分析与K线形态因子——量化方法在债券研究中的应用三(2025-03-14)8.识时通变：宏微同频成长价值风格轮动策略(2025-01-10)9.超额收益如何回归？——2025年金融工程策略报告(2025-01-06)10.ESG投资概述及其在多因子策略中的应用(2024-12-11) 稀疏注意力机制自适应：针对传统Transformer全连接中存在的计算复杂度高以及噪声敏感等问题，本文提出了提出三重稀疏化注意力自适应机制，该机制可以在提升计算效率的同时，加大注意力机制的局部针对性聚焦模式，减少对噪声时段的关注。该稀疏注意力机制分别包括市场波动率门控、局部注意力窗口以及TopK稀疏选择。经回测，SA_Transformer模型2019年1月至2025年7月IC9.98%，多头组合年化收益率为29.64%，月均单边换手率0.87X。 多尺度时序信息融合自适应：除量价特征以外，本文引入基本面特征以补全特征维度。但传统基本面特征季度发布，与日频量价特征存在显著频次差异。根据常规量价特征与基本面特征处理存在的问题，本文设计了多尺度信息融合框架（微观、中观以及宏观）。经回测，MF_Transformer因子2019年1月至2025年7月IC10.09%，多头组合年化收益率29.63%，月均单边换手率0.82X。 模型消融测试：上述三个不同的自适应优化模块（DPE、SA、MF）优化情况下模型较基础Transformer模型均有所提升，但两两组合的情况下，模型表现相较于传统Transformer模型具备一定的削弱效果。三个自适应模块组合下DAFAT自2019年1月至2025年7月因子IC均值11.07%，多头组合年化收益率32.30%，最大回撤率33.00%，整体较其他模型表现提升相对明显。 指数增强策略：DAFAT模型沪深300指数增强策略年化超额收益率12.65%，近一个月、三个月、一年、三年超额收益率分别为-0.25%、0.20%、14.76%以及10.39%；DAFAT模型中证1000指数增强策略年化超额收益率14.57%，近一个月、三个月、一年、三年超额收益率分别为-0.60%、2.41%、20.85%以及16.79%。 风险提示：报告对应的相关结论完全基于公开的历史数据进行算法构建、统计以及计算，文中部分数据有一定滞后性，同时也存在第三方数据提供不准确或者缺失等风险；策略效果结论仅针对于回测区间得出，并不预示其未来表现，也不能保证未来的可持续性，亦不构成投资收益的保证或投资建议。 目录 1传统Transformer模型局限性及可优化点.............................................................................................................................................1 1.1 Transformer模型概述...........................................................................................................................................................................11.2 Transformer与传统序列模型对比.....................................................................................................................................................41.3 Transformer主要优势...........................................................................................................................................................................51.4传统Transformer模型局限性及可优化点......................................................................................................................................6 2.1动态位置编码自适应Transformer模型回测结果.......................................................................................................................11 4.1信息融合自适应Transformer模型测试........................................................................................................................................19 5模型消融测试..............................................................................................................................................................................................22 6指数增强策略..............................................................................................................................................................................................25 6.1沪深300指数增强策略.....................................................................................................................................................................256.2中证1000指数增强策略...................................................................................................................................................................27 图目录 图1：TransFormer网络结构..........................................................................................................................................................................1图2：注意力机制.............................................................................................................................................................................................2图3：多头注意力示意....................................................................................................................................................................................3图4：残差连接示意.........................................................................................................................................................................................3图5：基础Transformer因子IC.....................................................................................................................................................................7图6：基础Transformer因子分组-绝对净值.............................................................................................................................................7图7：基础TransFormer因子分组测试-相对净值....................................................................................................................................8图8：基础Transformer因子多头分年度净值..........................................................................................................................................9图9：动态位置编码自适应：时间周期编