高维协方差矩阵估计：向对角目标收缩

高维协方差矩阵估计：向对角目标矩阵收缩 坂井安和 小明梅 WP/23/257 国际货币基金组织工作论文描述研究作者（们）的贡献，并已发表至引发评论并鼓励辩论。所表达的观点均属于国际货币基金组织工作论文的内容。作者（们）的，不一定代表代表国际货币基金组织（IMF）、其执行董事会的观点或国际货币基金组织管理。 2023DEC 高维协方差矩阵估计：向对角目标矩阵收缩 由坂井安平和肖明梅*编写 经Prachi Mishra授权分发，2023年12月 国际货币基金组织工作论文描述作者（们）正在进行的研究，并公开发表以征求评论和促进讨论。国际货币基金组织（IMF）工作论文中表述的观点是作者（们）的观点，并不一定代表IMF、其执行董事会或IMF管理的观点。 摘要：AB本文提出了一种针对高维协方差矩阵的新型收缩估计器，通过扩展Chen等人在2009年提出的Oracle Appro ximating Shrinkage（OAS）方法，以针对样本协方差矩阵的对角元素。我们推导出收缩参数的闭式解，并通过模拟表明，当真实协方差矩阵的对角元素表现出显著变化时，与目标平均方差的OAS方法相比，我们的方法降低了均方误差。当真实协方差矩阵更稀疏时，这种改进更为明显。我们的方法还能降低协方差矩阵逆的均方误差。 目录 23参考文献 ........................................................................................................................................................17附录 ...........................................................................................................................................................184 结论.................................................................................................................................................151 引言 ................................................................................................................................................ 1理论框架............................................................................................................................ 22.1 特殊情况：已知均值 ......................................................................................... 5模拟.................................................................................................................................................... 6定理1的证明........................................................................................................18 定理2的证明........................................................................................................24 定理3的证明........................................................................................................263.1 设置.............................................................................................................................. 73.2 主要结果................................................................................................................... 93.3 逆矩阵的性能...................................................................................123.4 基于收缩相关矩阵的替代方法.....................................14 1 引言 估算协方差矩阵Σ：p×p并且其逆矩阵的维度p该样本量大于无法进行翻译，提供的文本内容为空。在许多实证应用中居核心地位， 包括金融投资组合选择和宏观经济预测（DeMiguel等（2009年），Ban等（2018年），Ando和Kim（2022年）），以及计量经济学方法，如广义矩估计法（Hansen（1982年））和主成分分析（Pearson（1901年））。尽管Ledoit和Wolf（2004年）基于平均方差目标开发了一种收缩估计量，Chen等（2009年）在正态性假设下提高了其有限样本性能，但当真实协方差矩阵的对角元素表现出较大变化时，该方法仍有改进空间。例如，在宏观经济预测的设置中，GDP和渔业产出可能相差一百倍，因此针对平均方差的收缩估计量可能高估渔业产出的方差并低估GDP的方差。 为了适应随机变量方差表现出显著变化的情况，本文提出了一种针对样本协方差矩阵对角元素的收缩估计量。我们的方法扩展了Oracle Approximating Shrinkage估计量（OAS陈等人（2009）的研究成果，旨在针对平均方差。参照Eldar和Chernoi（2008）以及陈等人（2009），我们根据真实的协方差矩阵（Oracle估计算法）推导出最优收缩参数，并以迭代算法近似此不可行的Oracle估计算法。 我们使用模拟来展示，我们的方法生成的平均平方误差（MSE）低于OAS当真实协方差矩阵的对角元素显示出显著的变异时。在衰减非对角元素的指定中，当真实协方差矩阵更稀疏时，改进程度更高。我们的方法还对协方差矩阵的逆产生了更小的均方误差（MSE），这在实践中通常是估计协方差矩阵的最终目标。 正如Chen等人（2009）指出，我们的方法基于正态分布下的最优性。 分布。与Schäfer和Strimmer（2005年）相比，后者也针对协方差矩阵的对角元素，但没有施加分布假设，我们的方法在分布为正态时表现更佳。此外，我们的方法继承了以下优良性质：OAS因此，收缩参数保持在0到1之间。因此，估计的协方差矩阵是正定的，即使在Schäfer和Strimmer（2005）中手动限制收缩参数的情况下也是如此。正态性假设还允许我们以闭式形式推导出最优收缩参数，这比Ledoit和Wolf（2012）的非线性收缩方法涉及的计算要少。 我们的方法在所有情况下并不优于现有方法，因此应被视为它们的补充。例如，当真实协方差矩阵对角线元素的变异很小时，OAS倾向于产生更低的均方误差（MSE）。这一观察还表明，通过应用，可以采用一种估计协方差矩阵的替代方法。OAS将相关矩阵缩放回乘以样本方差。为了检验其稳健性，我们进行了一项模拟，并显示了在均方误差（MSE）之间的差异。OAS与我们提出的方法相比，它是小巧的；并且直接缩小样本协方差矩阵的性能优于应用OAS对相关矩阵进行缩放并恢复。 本文结构如下。第2节描述理论框架，第3节通过模拟评估性能和评估鲁棒性，第4节得出结论。 2 理论框架 假设数据{x}无法进行翻译，提供的文本内容为空。是独立同分布并且具有p维度。在高维空间中i i=1 环境p > n≥2、样本协方差矩阵 (1)211无法进行翻译，提供的文本内容为空。无法进行翻译，提供的文本内容为空。您没有提供需要翻译的英文文本。请提供需要翻译的内容，我将为您进行翻译。您没有提供需要翻译的英文文本。请提供需要翻译的内容，我将为您进行翻译。(x x¯)(x x¯),S:=−−T x¯ :=x, n−1我：i我：i无法进行翻译，提供的文本内容为空。我：i我：i=1我：i=1 该协方差矩阵Σ的估计值劣质且为退化形式。在整篇论文中，我们假定样本协方差矩阵的对角元素为正。S >0mm 对于所有m= 1、……，p并且真正的协方差矩阵是正定的 Σ>0. 一种解决该问题的方法是使用协方差矩阵的线性收缩估计量 在哪里T被称作目标矩阵。我们使用样本协方差矩阵的对角线元素S作为目标T=诊断(S), 而 OAS 旨在平均方差T=tr(S)我在p1负密度)S+密度，温度 无论是哪种情况，只要目标矩阵T是正定的，并且缩减参数 ˆ 位于ρ∈(0,1]，估计的协方差矩阵S(密度（ρ）) 是正定的，即使在样本协方差矩阵S是退化 当真实的协方差矩阵Σ已知时，收缩参数密度（ρ）可以通过最小化从真实协方差矩阵一个′ˆS(密度（ρ）)一个= (1负密度)一个′Sa+ρ a′Ta>0全称量词，对所有a不等于= 0ρ∈(0,1].|{z} |{z} 中得出的均方误差来确定。≥>00 2您没有提供需要翻译的英文文本。请提供需要翻译的内容，我将为您进行翻译。ˆ S(密度（ρ）)密度（ρ）−Σ,（Σ,T：）:= 求最小值E∥A ∥2:=tr(A T A) =A 2,OD在此结果中收缩参数密度（ρ）被称为对角线Oracle估计量OD目标。问题（4）是二次的。密度（ρ）因此，具有以下闭式解。 i,j ρ∈Ri,j定理1假设S是不相关的样本协方差矩阵（1）且T是对称的目标矩阵。解决（4）的最佳收缩参数是 如果，此外，x服从联合正态分布N(μ，Σ)，目标矩阵是我：i协方差矩阵T的对角元素=诊断(S)(5) 可以写作 在 ϕ(Σ) 为 证明。见附录A。 (6) 的预言缩减参数是最佳的，但由于它依赖于真实的协方差矩阵 Σ，因此不可行。一个自然的样本模拟为： 在(7)中，φ:= φ(S)用样本模拟S代替了真实的协方差矩阵Σ。=ODOD1 + (n−1)φ 结果证明，这OD估计量密度（ρ）可能不如替代方案表现得好。OD方法，我们称之为通过对角目标近似收缩的Oracle方法（OASD) 并使用以下迭代的极限，其索引为j 更新方程（10）将（6）中的真实协方差矩阵Σ替换为样本协方差矩阵。S除了平方项Σ2在这种情况下，其中只有一个被样本协方差矩阵Σ所替代。S这样，密度（ρ）2未显示出来以及jj方程组仍然可解。j+1ntr（ΣS)−(无法进行翻译，提供的文本内容为空。+ 1)tr(诊断（Σ ）2) +tr（Σ ）2jj j 以下主要定理表明，无论初始值如何，迭代均收敛于一个唯一的极限。ρ ∈(0,1).0 定理 2对于任何初始值ρ ∈(0,1)序列 {ρ } 由 (9) 和 (10) 指定0j j单调收敛至 证明。见附录B 我们注意到三个观察结果。首先，收缩参数满足密度（ρ）∈(0,[1]，以及OASD因此，协方差