海外文献-随机矩阵系列（6）：基于随机矩阵的大型相关矩阵的处理

2023年12月31日 核心观点： 分析师 风 险 提 示 ：报告 结 论 基 于 历 史 文 献 ， 所 以 报 告 结 论 有 可 能 无 法 正 确 预 测 市 场发 展 ， 报 告 阅 读 者 需 审 慎 参 考 报 告 结 论 。 文 中 观 点 仅 供 参 考 ， 不 构 成 投 资 建议 ， 报 告 阅 读 者 需 审 慎 参 考 报 告 结 论。 相关研究 目录 一、正文 作 者的 目 的 是 回 顾 几 种 随 机 矩 阵 理 论 的 结 果,这 些 结 果 利 用 了 问 题 的 高 维 度 性 来 一 致 地 估 计 协 方 差矩 阵,包 括从Marčenko and Pasturk理 论 开 始的 近50年 的 研 究，以 及最 新 的 一 般 协 方 差 矩 阵 的"局 部"最 优RIE。作 者强 调,这 次综 述 并 不 是 为 了 提 供 详 细 的 证 明(从 数 学 意 义 上 讲),但作 者将 尽 可 能 多 地 为 可 能 感 兴趣 的 人 提 供 这 种 数 学 文 献 的 参 考 。 在 第 二 部 分,作 者介 绍 了 一 个 详 细 的 但 仍 不 完 整 的 关 于rmt的 介 绍,以 及 一 些 可 以 用 来 研 究 大 随 机 矩阵 在 渐 近 情 况 下 的 行 为 的 分 析 方 法 。 实 际 上,大 部 分 的第 二 部 分 的将 在 非 常 一 般 的 随 机 矩 阵 模 型 下 执 行,并 将 在 整 个下 文 中使 用 。第 一 种 方 法 可 以 说是 物 理 学 文 献 中 最 常 用 的 库 仑电 子 气 体（Coulomb gas）类比 法。这 对 于 处 理 不 变 的 组 合 体 特 别 有 用,这可 以 得 到Boltzmann式 的 权 重,这 可 以 很 容 易 得 到众 所 周 知的 结 果,如Wkinser的 半 圆 定 律 或Marčenko–Pastur密 度。这 是2.2部 分 的 主 要 内 容。第 二 种 方 法 是Voiculescu自 由 概 率 理 论,它 最 初 是 在1985年 提 出 的,目 的 是 通 过(freeness)自 由的 概 念来 分 析 理 解 一 类vonNeumann算法。一 般 来 说,两 个 矩 阵 和 如 果 它 们 的 特 征 基 础 是 通 过 随 机 旋 转 相 互 关 联 的,或 者 如 果 它们 的 特 征 向 量 是 不 同 的,那 么 它 们 是 相 互 自 由 的， 即几 乎 肯 定 是 正 交 的 。1991年Voiculescu发 现 一 些 随机 矩 阵 是 渐 近 满 足 自 由 关 系 的,这 对rmt有 很 大 的 影 响 。作 者在2.3部 分 对 自 由 度 概 念 的 精 确 定 义,然 后 为计 算 大 类 随 机 矩 阵 的 谱 密 度 提 供 了 一 些 应 用 。在2.3部 分,在 统 计 物 理 中 无 序 系 统 中 ，作 者提 出 一 个 更正 式 的 工 具,称 为"复 制 法"（Replica method）。 这 种 方 法 虽 然 不 那 么 严 格,但 对 于 计 算 大 型 复 杂 系 统 的 平均 行 为 却 是 非 常 强 大 的 。作 者将 看 到 这 种 方 法 如 何 使作 者能 够 计 算分 解一 类 大 的 随 机 矩 阵,对 于 处 理 特征 向量 的 统 计 特 别 有 用 。 第三部 分：大 经 验 协 方 差 矩 阵 谱和特 征 向 量 统 计，作 者详 细 研 究 了 大 样 本 协 方 差 矩 阵 的 不 同 性 质 。第三部 分专 门 讨 论E特 征 值 的 统 计，特 别 是作 者使 用 自 由 概 率 论 的 工 具 提 出 了Marčenko–Pastur方 程 的一 个 非 常 简 单 的 推 导。 然 后,作 者使 用E例 如 矩 生 成 函 数 和 支 持 的 边 缘 光 谱 密 度 ， 分 析 了回 顾 不 同 的 属性。作 者讨 论 了 有 限 元 分 布 的 边 缘 的 性 质 以 及 异 常 值 。在第四部 分,作 者重 点 讨 论 了 关 于 的 特 征 向 量 的最 新 结 果。作 者区 分 两 种 不 同 的 情 况 。 第 一 个 是 真 实 和 估 计 特 征 向 量 的存 在 所 谓 家 教,作 者得 到 一 些 初步 结 果 。第 二 种 情 况 是 两 个 独 立 样 本 特 征 向 量 之 间 的 角 度 ，这 一 结 果 使 人 们 能 够 推 断 出 关 于 的 结 构 的 有趣 性 质。 在前 面三 个 相 对 技 术 性 的 部 分 之 后,作 者接 下 来 将 讨 论 本 综 述 的 主 题,即 估 计 大 样 本 协 方 差 矩 阵 。 在第五部 分作 者将 协 方 差 矩 阵 的 贝 叶 斯 法 形 式 化 。作 者提 出 了 一 个 共 轭 类,在 此 之 前作 者得 到 了 线 性 收 缩，最 初 由Haff提 出 。接 下 来,作 者考 虑 了Boltzmann类,旋 转 不 变 量 前 置 分 布 。然 后 ，作 者将 贝 叶 斯 最 优 估计 量 与 的 最 小 二 乘 最 优估 计 量 联 系 起 来。所 谓 的oracle估 计 器是第六部 分中 的 主 要关 注 点 。特 别的，作者使 用第五部 分中 获 得 的 特 征 向 量 的 结 果 ，证明 了 该 估 计 器 在 大 维 极 限 下 收 敛 于 极 限 且 显 著 完 全 可 观 测的 函 数。因 此,在RIE类 内，存 在 一 个 大 总 体 协 方 差 的 最 优 估 计。第六部 分 的 其 余 部 分 专 门 介 绍 最 优RIE的 一 些 理 论 和 数 值 应 用。 第七部 分关 注 最 优RIE在 马 科 维 茨 最 佳 投 资 组 合 中 的 应 用 。 特 别 是,在 一 些 技 术 假 设 下,作 者明 确 说明 了样 本 外使 用 样 本 协 方 差 矩 阵 的可 能 引 起 的 错 误。 如 上 所 述,E没 有 精 确 的 零 模 式 （ 即q=N/T<1)下 ，这 个 方 差 估 计 会 高 估 （ 比 例 为 （1-q）-1）。此 外 ，作 者将 看 到 ， 为 了 最 大 限 度 地 减 少 样 本 外 风 险 ，作 者所 能 做 的 最 好 的 事 情 实 际 上 是 由第六部 分的 最 佳RIE给 出 的。本 节 还 回 顾 了 先 前 工 作 中 提 出 的 几 种 替 代（cleaning“recipes”）方 法。 最 后,第八部 分采 用 真 实 金 融 数 据 得 到 的 一 些 实 证 结 果 。作 者进 一 步 给 出 如 何 在 实 际 应 用 中使 用 正确 的 正 则 化 估 计 。 此 外,作 者还 讨 论 了 在 有 限 尺 寸 效 应 存 在 的 情 况 下 实 现 最 优RIE的 问 题（ 即N是 巨 大但 有 限 的 ）。 附 录 中 包 含 了 本 文 提 到 的 辅 助 结 果。第 一 个 附 录 处 理 所 谓 的Harish-Chandra–Itzykson–Zuber (HCIZ)积 分,它 通 常 出 现 在 涉 及 自 由 随 机 矩 阵 的 和 或 产 品 的 计 算 中 。HCIZ是 一 组 正 交 矩 阵 的 积 分,在 这 组 矩 阵 中,显 式和 分 析 结 果 很 少 。第 二 个 附 录 是 对 线 性 代 数 的 一 些 结 果 ，这 对 于 研 究 特 征 向 量 特 别 有 用 。第 三 个 附录 是 另 一 个 分 析 工 具,为 大 随 机 矩 阵 的 解 析(或Stieltjes变 换)建 立 自 一 致 方 程 。这 种 方 法 在 处 理 独 立 项 时非 常 方 便,为 随 机 矩 阵 的 中 心 极 限 定 理 提 供 了 很 好的 说 明。 最 后,作 者用 一 个 完 整 的 附 录 来 描 述 矩 阵 中 的噪 音是 相加 的（而 不 是相 差 乘 ）相 关 矩 阵 。（the additive noise model）加 性 噪 声 模 型 虽 然 与 本 文 讨 论 的主 要 问 题 没 有 直 接 的 关 系,但 它 在 不 同 的 科 学 领 域 有 许 多 应 用 。 文 献 来 源 ：《Cleaning large correlation matrices:Tools from Random Matrix Theory》，Joël Bun,Jean-Philippe Bouchaud,Marc Potters,Physics Reports9,Volume 666, 13 January 2017, Pages 1-109 二、风险提示 报 告 结 论 基 于 历 史 文 献 ，所 以 报 告 结 论 有 可 能 无 法 正 确 预 测 市 场 发 展 ，报 告 阅 读 者 需 审 慎 参 考 报 告结 论 。 文 中 观 点 仅 供 参 考 ， 不 构 成 投 资 建 议， 报 告 阅 读 者 需 审 慎 参 考 报 告 结 论。 分析师承诺及简介 吴 俊 鹏，金 融 工 程 分 析 ，2015年 加 入 银 河 证 券。 评级标准 未 来6-12个 月 ， 行 业 指 数 相 对 于 基 准 指 数 （ 沪 深300指 数 ）推 荐 ： 预 计 超 越 基 准 指 数 平 均 回 报20%及 以 上 。谨 慎 推 荐 ： 预 计 超 越 基 准 指 数 平 均 回 报 。中 性 ： 预 计 与 基 准 指 数 平 均 回 报 相 当 。回 避 ： 预 计 低 于 基 准 指 数 。 公 司 评 级 体 系 未 来6-12个 月 ， 公 司 股 价 相 对 于 基 准 指 数 （ 沪 深300指 数 ）推 荐 ： 预 计 超 越 基 准 指 数 平 均 回 报20%及 以 上 。谨 慎 推 荐 ： 预 计 超 越 基 准 指 数 平 均 回 报 。中 性 ： 预 计 与 基 准 指 数 平 均 回 报 相 当 。回 避 ： 预 计 低 于 基 准 指 数 。 免责声明 本 报 告 所 载 的 全 部 内 容 只 提 供 给 客 户 做 参 考 之 用 ，并 不 构 成 对 客 户 的 投 资 咨 询 建 议 ，并 非 作 为 买 卖 、认 购 证 券 或 其 它 金 融 工 具的 邀 请 或 保 证 。客 户 不 应 单 纯 依 靠 本 报 告 而 取 代 自 我 独 立 判 断 。银 河 证 券 认 为 本 报 告 资 料来 源 是 可 靠 的 ，所 载 内 容 及 观 点 客 观 公 正 ，但 不 担 保 其 准 确 性 或 完 整 性 。本 报 告 所 载 内 容 反 映 的 是 银 河 证 券 在 最 初 发 表 本 报 告 日 期 当 日 的 判 断 ，银 河 证 券 可 发 出 其 它 与 本 报 告所 载 内 容 不 一 致 或 有 不 同 结 论 的 报 告 ，但 银 河 证 券 没 有 义 务 和 责 任 去 及 时 更 新 本 报 告 涉 及 的 内 容 并 通 知 客 户 。银 河 证 券 不 对 因 客 户使 用 本 报 告 而 导 致 的 损 失 负 任 何 责 任 。 本 报 告 可 能 附 带 其 它 网 站 的 地 址 或 超 级 链 接 ，对 于 可 能 涉 及 的 银 河 证 券 网 站 以 外 的 地 址 或 超 级 链 接 ，银 河 证 券 不 对 其 内 容 负 责 。链 接 网 站 的 内 容 不 构 成 本 报 告 的 任 何 部 分 ， 客 户 需 自 行 承 担 浏 览 这 些 网 站 的 费 用 或 风 险 。 银 河 证 券