DQN模型实现的股指期权动态复制方法与应用

2024年1月11日 DQN模型实现的股指期权动态复制方法与应用 ——以沪深300指数为例 核心观点： 分析师 ⚫DQN模 型 可 应 用 于 期 权 动 态 复 制：DQN是 基 于 价 值 的 强 化 学 习 算 法 ，是Q-Learning强 化 学 习 与 神 经 网 络 的 结 合 。Q-Learning的 基 本 思 想 是 通 过 不 断 更 新值 函 数Q(s,a)的 估 计 来 寻 找 最 优 策 略 ， 可 在 未 知 环 境 下 学 习 并 找 到 最 优 策 略 ；而 将 深 度 神 经 网 络 （DNN） 引 入Q-Learning替 换Q-Table则 可 以 提 高Q-Learning的 泛 用 性 ，使 模 型 能 够 覆 盖 训 练 集 中 未 发 生 过 的 市 场 状 态 ，并 输 出 连续 的 动 作 决 策 ， 最 终 实 现 组 合 价 值 最 大 化 。 ⚫DQN复 制 期 权 的 风 险 收 益 表 现 优 于Delta复 制：在 训 练DQN模 型 的 过 程中 ，首 先 ，鉴 于 真 实 市 场 数 据 不 足 ，我 们 采 用 蒙 特 卡 洛 模 拟 生 成 训 练 数 据 ；其次 ，考 虑 到 模 型 训 练 过 程 具 有 随 机 性 ，我 们 采 用 多 次 训 练 比 较 回 测 表 现 的 方 法筛 选 最 优 模 型 。 基 于 最 优 模 型 ， 我 们 证 明 了DQN模 型 可 复 制 期 权 收 益 ， 且 相比Delta复 制 能 够 在 降 低 回 撤 的 同 时 实 现 更 高 收 益 ；当 标 的 资 产 期 末 价 格 涨 跌幅 在[-5%,5%]之 间 时 ， 复 制 期 权 的 超 额 收 益 更 显 著 。 以DQN模 型 对 沪 深300ETF进 行 回 测 ，2020-2023年间 每 月 更 新 期 权 合 约 ， 复 制 看 涨 期 权 实 现 年化 收 益1.11%， 相 比Delta复 制 实 现 超 额 收 益1.75%， 进 一 步 设 置 涨 跌 幅 超 过5%时 更 新 合 约 则 年 化 收 益 提 升 至3.60%；空 头 沪 深300股 指 期 货复 制 看 跌 期权 实 现 年 化 收 益4.53%，相 比Delta复 制 实 现 超 额 收 益3.71%。 资料来源：Wind，中国银河证券研究院 ⚫应 用DQN复 制 期 权 可 有 效 对 冲Beta风 险：将DQN复 制 期 权 结 果 应 用 于Alpha因 子 沪 深300增 强 策 略 ，可 对 冲 组 合Beta风 险 。2022年6月2023年12月DQN复 制 期 权 对 冲 策 略 实 现 年 化 收 益0.95%， 相 比 无 对 冲 的 增 强 策 略 实 现超 额 收 益10.45%。 ⚫模 型 改 进：未 来 我 们 一 方 面 可 以 对DQN模 型 训 练 过 程 与 参 数 进 行 改 进 、提 高训 练 效 率 ，另 一 方 面 可 将DQN模 型 应 用 于 复 制 雪 球 等 结 构 更 为 复 杂 的 期 权 产品 ， 对DQN模 型 在 绝 对 收 益 策 略 中 的 效 果 进 行 进 一 步 探 讨 。 资料来源：Wind，中国银河证券研究院 ⚫风 险 提 示：报 告 结 论 基 于 历 史 价 格 信 息 和 统 计 规 律 ， 但 二 级 市 场 受 各 种 即 时性 政 策 影 响 易 出 现 统 计 规 律 之 外 的 走 势 ， 所 以 报 告 结 论 有 可 能 无 法 正 确 预 测市 场 发 展 ，报 告 阅 读 者 需 审 慎 参 考 报 告 结 论 。基 金 历 史 收 益 不 代 表 未 来 业 绩 表现 ， 文 中 观 点 仅 供 参 考 ， 不 构 成 投 资 建 议 。 目录 期权复制：规避期权时间价值的损耗....................................................................................................................................3Delta复制：动态复制优于静态复制......................................................................................................................................4 强化学习已广泛应用于金融领域............................................................................................................................................6Q-Learning：选择不同状态下的最优动作.............................................................................................................................7DQN模型：用DNN优化Q-Table.........................................................................................................................................8 DQN复制看涨期权：模型环境设置......................................................................................................................................8DQN复制看涨期权：训练集生成........................................................................................................................................10DQN复制看涨期权：模型效果............................................................................................................................................11DQN复制看涨期权：模型筛选............................................................................................................................................13DQN复制看涨期权：期权配置策略与回测结果................................................................................................................14DQN复制看跌期权................................................................................................................................................................16 四、DQN动态复制股指期权应用实例.....................................................................................................................................17 对DQN模型的改进...............................................................................................................................................................19DQN模型复制雪球期权........................................................................................................................................................19 八、风险提示..............................................................................................................................................................................23 期 权 是 绝 对 收 益 策 略 常 用 的 对 冲 工 具 。 期 权 是 一 个 在 未 来 特 定 日 期 按 照 约 定 价 格 买 入 或 卖 出 一 定数 量 的 指 定 金 融 工 具 或 商 品 的 合 约 ，其 价 格 受 标 的 资 产 价 格 、到 期 时 间 、无 风 险 利 率 等 多 种 因 素 影 响 。在 绝 对 收 益 策 略 中 ， 期 权 是 常 用 的 风 险 对 冲 工 具 。 一 方 面 ， 期 权 本 身 的 收 益 特 征 使 我 们 可 以 实 现 跟 随上 涨 空 间 、 同 时 锁 定 下 跌 风 险 的 效 果 ； 另 一 方 面 ， 期 权 是 杠 杆 交 易 ， 组 合 中 的 多 数 资 金 可 以 投 资 于 股票 、 债 券 等 其 他 资 产 ， 以 达 到 获 取 安 全 垫 、 增 厚 收 益 的 目 的 。 目 前 在 我 国 的 场 内 市 场 中 ，以 指 数 为 标 的 资 产 的 期 权 有12种 ，其 中 直 接 以 指 数 为 标 的 的 期 权 仅 有沪 深300、中 证1000和 上 证50；以 指 数ETF为 标 的 资 产 的 期 权包 括 沪 深300ETF、中 证500ETF、创 业板ETF、科 创50ETF等。考 虑 到 华 泰 柏 瑞 沪 深300ETF（510300.SH） 本 身 成 交 量 大 、期 权 上 市 时 间 较长 ，且ETF本 身 便 于 买 卖 和 配 置 ，在 后 文 的 研 究 中 我 们 将 主 要 以 沪 深300ETF及 对 应 期 权 为 研 究 对 象 。 一、期权对冲与期权动态复制 期权复制：规避期权时间价值的损耗 直 接 使 用 期 权 进 行 对 冲 存 在的 问 题 之 一 是 成 本 较 高 。 假 设 我 们 多 头 一 个 看 涨 期 权 进 行 对 冲 ， 除 本身 的 交 易 费 用 之 外 ， 更 多 的 隐 性 成 本 来 自 于 期 权 的 时 间 价 值— —期 权 价 值 等 于 内 在 价 值 与 时 间 价 值 之和 ，但 在 时 间 逐 渐 临 近 到 期 日 的 过 程 中 ，时 间 价 值 不 断 损 耗 ，直 至 到 期 日 为0，如 图1和 图2所