学海拾珠系列之二百三十四：利用强化学习和文本网络改进相关矩阵估计

主要观点： 执业证书号：S0010522110001邮箱：luoyushan@hazq.com 分析师：严佳炜执业证书号：S0010520070001邮箱：yanjw@hazq.com ⚫RL-TBN基于文本的网络的强化学习模型构造 通过融合强化学习的动态优化与文本网络（TBN）的结构化先验，提出了一种数据驱动的协方差矩阵估计框架。在强化学习方面，采用了近似策略优化（PPO）算法，而自然语言处理分析则依靠TBN来 衡量 企业 间的产 品相似 性。 实施 方法与 协方差 矩阵 收缩 的文 献（Ledoit & Wolf，2022）一致，TBN设定了目标相关矩阵，而RL则以数据驱动的方式确定了收缩强度。 ⚫RL-TBN性能 RL-TBN组合在多个指标上优于传统方法，表现出较低的波动率（0.088），较高的夏普比率（1.351）和较低的VaR（0.129）。与等权重组合相比，其波动率和夏普比率显著提升。RL-TBN在不同资产数量和窗口长度下均显示出稳定的优势，且在考虑交易成本后仍保持最佳表现。此外，TBN对股票相关性和方差的预测有效。 1.《风险收益的权衡：宽松型风险平价模型——“学海拾珠”系列之二百三十三》 2.《资产与因子风险预算：一种均衡策略——“学海拾珠”系列之二百三十二》 ⚫RL-TBN机制分析 TBN对股票相关性的预测能力强，且其冲击可能导致相关性下降。方差缩减机制验证显示低方差TBN组合表现优越。RL策略对宏观经济不确定性敏感，显示出动态适应性；TBN与股票相关性的非线性关系验证了RL策略调整收缩强度的必要性。 3.《年报中的叙述式披露对公司价值的多维度影响——“学海拾珠”系列之二百三十一》 4.《“知识”嵌入型深度强化学习在多元资产配置中的应用——“学海拾珠”系列之二百三十》 ⚫文献来源 核心内容摘选自Cheng Lu, Papa Momar Ndiaye, Majeed Simaan于2024年11月01日在International Review of Financial Analysis上的文章《Improved estimation ofthe correlation matrix using reinforcementlearning and text-based networks》。 5.《分解动量：被遗忘的成分HTP——“学海拾珠”系列之 二百二十九》 6.《基于树模型的有效前沿扩展——“学海拾珠”系列之二百二十八》 ⚫风险提示 7.《使用深度强化学习解决高维多期环 境 下 的 组 合 配 置— —“ 学 海 拾珠”系列之二百二十七》 文献结论基于历史数据与海外文献进行总结；不构成任何投资建议。 正文目录 1引言..............................................................................................................................................................................42方法..............................................................................................................................................................................62.1收缩方法---------------------------------------------------------------------------------------------------------------------------------62.2文本网络TBN---------------------------------------------------------------------------------------------------------------------------72.3强化学习---------------------------------------------------------------------------------------------------------------------------------92.3.1强化学习的优势--------------------------------------------------------------------------------------------------------------92.3.2RL问题陈述-----------------------------------------------------------------------------------------------------------------102.3.3近端策略优化PPO---------------------------------------------------------------------------------------------------------112.3.4滚动窗口程序----------------------------------------------------------------------------------------------------------------123实证分析.....................................................................................................................................................................123.1数据--------------------------------------------------------------------------------------------------------------------------------------133.2最优策略--------------------------------------------------------------------------------------------------------------------------------133.3回溯测试--------------------------------------------------------------------------------------------------------------------------------143.3.1回溯测试程序----------------------------------------------------------------------------------------------------------------143.3.2投资组合绩效指标----------------------------------------------------------------------------------------------------------143.3.3基准----------------------------------------------------------------------------------------------------------------------------153.4主要结论--------------------------------------------------------------------------------------------------------------------------------173.5其他结果--------------------------------------------------------------------------------------------------------------------------------193.5.1确定性等值收益-------------------------------------------------------------------------------------------------------------193.5.2策略的可解释性-------------------------------------------------------------------------------------------------------------204模型机制的理解分析...................................................................................................................................................204.1矩阵范数----------------------------------------------------------------------------------------------------------------------------------214.2面板回归----------------------------------------------------------------------------------------------------------------------------------224.3面板向量自回归-------------------------------------------------------------------------------------------------------------------------234.4方差化简----------------------------------------------------------------------------------------------------------------------------------255结论............................................................................................................................................................................26风险提示：.....................................................................................................................................................................27 图表目录 图表1文章框架--------------------------