“学海拾珠”系列之二百三十：“知识”嵌入型深度强化学习在多元资产配置中的应用

主要观点： 执业证书号：S0010520070001邮箱：yanjw@hazq.com 分析师：钱静闲执业证书号：S0010522090002邮箱：qianjx@hazq.com ⚫导师-学生模型 “导师”模型基于Keller和Keuning提出的动态资产配置模型，其核心思想倡导一种更稳健且潜在收益更高的投资方法：采取与资产动量方向相反的交易策略。具体而言，当作为诊断工具的指示性资产显示出动量减弱迹象时，该策略建议从高风险资产（主要是股票类ETF）中撤资，转而增持安全资产（以债券/国债类ETF为主）。 1.《分解动量：被遗忘的成分HTP——“学海拾珠”系列之二百二十九》 “学生”模型继承自上述基于规则（rule-based）的资产配置模型，同时引入深度强化学习（RL）算法进行精细化调优，在DDPG框架基础上引入SAC特性（如双评估减少偏差、灵活调整决策-评估模型更新频率），形成混合扩展模型。 2.《基于树模型的有效前沿扩展——“学海拾珠”系列之二百二十八》 3.《使用深度强化学习解决高维多期环境下的组合配置——“学海拾珠”系列之二百二十七》 ⚫实证结果 在一个近40年的价格数据集上，对美国股票、债券、美国国债、大宗商品及其杠杆等价物等广泛的资产类别进行模拟，实证验证了这一策略的有效性。新模型的测试集中，夏普比率提升了高达39.70%，索提诺比率提升了高达47.07%。这表明，将成熟策略与先进强化学习相结合，在资产管理领域的潜力。 4.《风险规避型强化学习模型在投资组合优化中的应用——“学海拾珠”系列之二百二十六》 5.《贝塔异象的波动性之谜——“学海拾珠”系列之二百二十五》 6.《ETF的资产配置与再平衡：样本协方差对比EWMA与GARCH模型——“学海拾珠”系列之二百二十四》 ⚫风险提示 文献结论基于历史数据与海外文献进行总结；不构成任何投资建议。 7.《市场对投资者情绪的反应——“学海拾珠”系列之二百二十三》 正文目录 1引言..........................................................................................................................................................................................42背景..........................................................................................................................................................................................52.1采用基于规则的资产配置模型..................................................................................................................................................52.2成熟的强化学习算法..................................................................................................................................................................52.3.1 SAC算法.............................................................................................................................................................................62.3.2 DPG和DDPG算法........................................................................................................................................................73方法论......................................................................................................................................................................................83.1问题定义.......................................................................................................................................................................................83.2数据采集与预处理.......................................................................................................................................................................83.3模型设计.......................................................................................................................................................................................93.3.1基于规则的模型................................................................................................................................................................93.3.2模仿学习............................................................................................................................................................................123.3.3导师-学生模型.................................................................................................................................................................123.3.4 DDPG-SAC混合模型...................................................................................................................................................133.3.5动作调整模块..................................................................................................................................................................133.3.6引导噪声注入网络.........................................................................................................................................................134实证结果................................................................................................................................................................................145结论........................................................................................................................................................................................19风险提示：.............................................................................................................................................................................................20 图表目录 图表1文章框架...........................................................................................................................................................................................................4图表2强化学习框架中基于规则模型扩展的选择与训练架构可视化....................................................................................................9图表3扩展版本1：扩展的BBA再平衡策略..............................................................................................................................................10图表4扩展版本2：HALLOWEEN策略支持的扩展BBA..........................................................................................................................11图表5基于规则的资产配置扩展策略的业绩比较.........................................