方差分析(二)：随机矩阵理论初探

2023年12月29日 方差分析（二）随机矩阵理论初探 核心观点： 分析师 样 本 测 试。首 先 将 随 机 样 本 与 经 验 函 数 的 拟 合 ， 在 随 机 矩 阵 中 增 加 信 号 分 析其 特 征 值 分 布 ； 介 绍 几 种 处 理 噪 声 的 方 法 ； 将 降 噪 的 协 方差 矩 阵 应 用 于 最 小方 差 组 合 的 构 建 ； 与 其 它 信 号 收 缩 法 比 对 ， 提 升 明 显。 实 证 检 验。将 随 机 矩 阵 去 噪 方 法 应 用 于 单 行 业 和 多 行 业 最 小 方 差 组 合 的 构 建 。经 降 噪 后 ， 得 到 的 最 小 方 差 组 合 要 优 于 经 验 方 差 组 合 。 采 用 特 征 值 归 零 法 的组 合 的 方 差 是 全 部 大 于 特 征 值 常 数 法 的 结 果。 风 险 提 示 ：报 告 结 论 基 于 历 史 价 格 信 息 和 统 计 规 律 ， 但 二 级 市 场 受 各 种 即 时性 政 策 影 响 易 出 现 统 计 规 律 之 外 的 走 势 ， 所 以 报告 结 论 有 可 能 无 法 正 确 预 测市 场 发 展 ， 报 告 阅 读 者 需 审 慎 参 考 报告 结 论。 相关研究 目录 （一）随机矩阵................................................................................................................................................................................3（二）Marčhenko-Pastur分布.........................................................................................................................................................3 （一）随机样本................................................................................................................................................................................4（二）含信号的随机样本................................................................................................................................................................5（三）噪声信号过滤........................................................................................................................................................................5（四）最小方差组合........................................................................................................................................................................7 三、实证检验................................................................................................................................................................................7 （一）单行业组合............................................................................................................................................................................8（二）多行业组合..........................................................................................................................................................................10 四、结语......................................................................................................................................................................................14 五、风险提示..............................................................................................................................................................................14 一、随机矩阵理论基础 （一）随机矩阵 所 谓 随 机 矩 阵 ，是 指 矩 阵 元 素 是 随 机 变 量 的 矩 阵 。如 果 其 满 足 变 换 正 交 的(orthogonal)、酉 的(unitary)或 辛 的(symplectic)，则 分 别 得 到 高 斯 正 交 系 综(GOE)，高 斯 酉 系 综(GUE)或 高 斯 辛 系 综(GSE)。例 如 ，通常 所 谓 对 于N×N矩 阵 ， 假 设 其 矩 阵 元 素 相 互 独 立 且 符 合 高 斯 分 布 ， 1.2531.4360.3830.1181.5730.9670.3260.1790.2900.6570.0150.5020.7650.2931.4331.7860.1600.8710.9550.4232.0820.0441.3361.0660.0261.1941.5630.3981.1610.3770.2122.8010.4211.2931.5121H.572 对 角 元 素 并 不 相 等 ， 即Hij≠Hji， 其 特 征 值 通 常 是 复 数 ， 采 用Hs=（H+HT）/2,可 以 得 到 一 个 实 对称 矩 阵 。多 个 类 似 的 实 对 称 对 称 矩 阵 构 成 所 谓 高 斯 正 交 系 综（GOE：GaussianOrthogonal Ensemble），此外 矩 阵 元 素 是 复 数 满 足 厄 米 共 轭 ，即 构 成 所 谓GUE，此 外 还 有“Quaternion self-dual matrices”构 成GSE，其 特 征 值 边 界 满 足 如 下 形 式 ， 特 别 的 对 于N=8的 情 况: 24()NGOE 45.65()NGUE 88()NGSE  下 图 给 出 的 是GOE、GUE和GSE三 种 不 同 系 综 （ 取50000次 ） 的 特 征 值 分 布 。 关 于 高 斯 系 综 详 细 介 绍 可 参 阅 相 关 资 料 ， 本 文 暂 不 展 开 讨 论 。 （二）Marčhenko-Pastur分布 考 虑p维 随 机 向 量 的N个 样 本， ()12TXXX NX()12XxxxiipiiX i是 独 立 随 机 向 量 ， 服 从 均 值 为 零 协 方 差 矩 阵 为V的 多 元 正 态 分 布。 对 于 协 方 差 矩 阵 ：TMXX它 是p阶 对 称 矩 阵 ， 服 从Wishar分 布 。 Marčhenko和Pastur[研 究 了高 阶 阶 矩 阵 在N很 大 时 的 行 为，在N→ ∞同 时u=p/N固 定 的 极 限 下，特 征 值 密 度 分 布 收 敛 于Marčhenko-Pastur分 布 二、样本测试 （一）随机样本 首 先 ， 为 测 试 随 机 向 量 协 方 差 矩 阵 的 特 征 值 分 布 ， 生 成一 个m维 随 机 矩 阵 （长 度n）， 这 里 我 们 假设m=1000，n=10000， 满 足均 值 为0方 差 为1的 高 斯 分 布 ， 则 其 协 方 差 矩 阵 的 特 征 值 的 上 下 边 界 为 ： 协 方 差 矩 阵对 应 的 标 准Marčhenko-Pastur分 布如 图 中 所 示。图 中 另 外 一 条 线，是 采 用 核 密 度 估 计 得到 的 经 验 分 布 。 图2：随机样本特征值经验分布 核 密 度 估 计 核 密 度 估 计 是 用 来 估 计 概 率 分 布 的 非 参 数 方 法 。通 过 将 每 个 样 本 点 周 围 的 区 域 核 叠 加 起 来 ，来 近 似表 示 概 率 密 度 。 核 密 度 估 计 值 为 ： 其 中n为 样 本 大 小 ，K(*)是 所 使 用 的 核 密 度 函 数 （ 可 以 设 定 为 ： 高 斯 、 三 角 形 、Epanechnikov等 ），h是 调 节 参 数 （ 带 宽bandwith）。 （二）含信号的随机样本 采 用Marcos M. López de Prado(2020)的 方 式 ， 在 以 有 的 随 机 协 方 差矩 阵 中 ， 加 入 一 些 信 号 矩 阵 。 首 先 生 成 一 个1000维 度 的 随 机 向 量 （ 高 斯 分 布N（0,1））， 时 间 长 度 为10000， 则 此 外 生 成 一 个 包 含1000个 随机 向 量 （ 其 中 只 有100个 包 含 信 号 ）。 通 过 权 重 系 数 （ 这 里 取0.005）将 其 与 第 一 个 随 机 协 方 差 矩 阵 叠 加 后 得 到 一 个 包 含 信 号 的 协 方 差 矩 阵 。图 中 蓝 色 柱 状 图 是 采 用 核 密 度 估计 得 到 的 特 征 向 量 的 经 验 分 布 。 通 过 拟 合Marčhenko-Pastur分 布，得 到 相 应 的 方 差。图 中 红 色 就 是 采 用 拟 合 后 得 到 的 标 准Marčhenko-Pastur分 布。注 意 到，图 中 有 经 验 分 布(图 中 红 色 虚 线 框 内)位 于λma x之 上。通 过 计 算 可 知，含 信 号 的 协 方 差 矩 阵 特 征 值 大 于 λma x的 个 数 正 好 是100个 。 （三）噪声信号过滤 从 上 面 的 分 析 我 们 可 以 看 到 ，对 于 包 含 信 号 的 噪 声 矩 阵 ，一 个 直 接 的 方 法 就 是 直 接 对 其 特 征 值 进 行相 应 压 缩 或 者 阶 段 。Marcos M. López de Pra