AI系列深度11期：大模型如何进行模仿与强化学习？

AI系列深度11期：大模型如何进行模仿与强化学习？ 2026年08月03日 证券分析师黄细里执业证书：S0600520010001021-60199793huangxl@dwzq.com.cn 增持（维持） ◼智能体学习行动主要有两条路径：模仿学习，即从专家示范中学习状态到动作的映射；强化学习，即在环境交互中依据奖励信号优化策略。二者并非对立，模仿学习通常更快、更稳，强化学习在可构造奖励、仿真环境或可验证任务中更可能突破示范上限，工程实践往往采用先模仿形成初始策略、再强化优化的组合范式。 ◼强化学习解决的是没有逐步标准答案、只有事后奖励反馈的问题，核心难点包括功劳分配、探索与利用、奖励稀疏和样本效率。其思想源于行为主义心理学和贝尔曼MDP，经Sutton与Barto体系化，并在DQN、AlphaGo、RLHF、RLVR和推理模型中持续演进。近年来，强化学习从补充性优化工具转向后训练、偏好对齐和可验证推理的重要方法。 相关研究 ◼模仿学习的本质，是把状态到动作的映射转化为监督学习。行为克隆优点是训练快、稳定性较高，自动驾驶早期ALVINN、机器人示教和VLA预训练都体现这一思路；局限在于分布漂移和示范者上限，模型一旦进入训练数据未覆盖状态，错误会逐步累积。逆强化学习、DAgger和GAIL等方法，均围绕缓解这一问题展开。 《AI系列深度10期：预训练与后训练如何塑造大模型？》2026-08-01 《AI系列深度09期：从LLM到VLM再到VLA意味着什么？》2026-07-31 ◼在大模型训练中，强化学习主要用于后训练而非预训练。预训练通过自监督学习通用表征，监督微调本质上是对高质量人工示范的模仿，RLHF和RLVR再通过人类偏好或可验证奖励进行精修。AlphaGo先学棋谱再自我对弈，ChatGPT先SFT再RLHF，机器人VLA先示范预训练再仿真或真实环境强化，均体现该组合范式。 ◼落到智能驾驶和具身智能，纯模仿路线面临更强约束。物理世界试错代价高，示范数据多来自平均人类表现，长尾和危险场景天然稀缺；因此趋势是用模仿学习获取初始策略，再依靠仿真、世界模型和强化学习补足长尾。杨立昆“蛋糕论”强调自监督是理解世界的主体，强化学习样本效率较低；但在可验证推理、偏好对齐和策略优化环节，强化学习的重要性正在上升。 ◼我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性，但其难以实现物理世界的建模闭环；我们认为物理AI将成为物理世界的AI解决方案，从而在AI的当前发展阶段成为增量更大的方向，智能驾驶作为最先跑通闭环的代表场景，我们认为应重点关注。 ◼风险提示：技术迭代不及预期的风险，大模型厂商ARR增速放缓的风险，云服务商资本开支不及预期的风险，智能驾驶及机器人商业化落地不及预期的风险。 内容目录 1.智能体学习行动：模仿与强化两条路径..............................................................................................42.强化学习：基于奖励反馈优化策略......................................................................................................42.1.解决的问题：奖励、MDP与三类难点.......................................................................................42.2.方法源流：从心理学到现代算法体系........................................................................................42.3.重要性提升：从补充工具到后训练关键方法............................................................................42.4.大模型应用：主要位于后训练阶段............................................................................................52.5.样本效率争议：蛋糕论与客观边界............................................................................................53.模仿学习：以专家示范形成策略..........................................................................................................54.两者分工：学习信号、风险与能力边界..............................................................................................55.工程范式：先模仿形成初始策略，再强化优化..................................................................................66.落地到智能驾驶与具身智能：长尾决定强化需求..............................................................................67.风险提示..................................................................................................................................................7 图表目录 表1：模仿学习与强化学习的多维对比..................................................................................................6 1.智能体学习行动：模仿与强化两条路径 智能体完成感知和表征后，需要基于当前状态选择行动。车辆规划驾驶动作、机械臂完成抓取、棋类程序选择落子，均属于决策与行动问题。大模型后训练中的强化学习同样建立在预训练形成的表征基础之上。因此，模仿学习与强化学习是从“理解世界”走向“采取行动”的关键环节。 同一行动学习问题对应两类基本路径。对于自动驾驶、棋类程序和机器人操作，模型需要学习从当前状态到动作选择的策略。模仿学习依赖专家示范，学习专家在不同状态下的动作；强化学习依赖环境反馈，智能体通过试错和奖励优化策略。 二者并不互斥，工程系统通常将其衔接使用。模仿学习能够快速获得初始策略，降低早期探索成本；强化学习则可在仿真、可验证任务或可构造奖励环境中进一步优化策略，尝试突破示范数据上限。 2.强化学习：基于奖励反馈优化策略 2.1.解决的问题：奖励、MDP与三类难点 强化学习面对的是没有逐步标准答案、只有环境奖励反馈的决策问题。智能体（agent）在当前状态下选择动作，环境返回下一个状态和奖励（reward），智能体目标是在长期累计奖励最大化的方向上更新策略。这类问题通常用马尔可夫决策过程（MDP）描述，核心变量包括状态、动作、奖励和状态转移。 强化学习的三类难点较为典型：1）功劳分配，即任务结束后才看到结果时，如何判断哪些早期动作贡献更大；2）探索与利用，即继续采用已知有效动作，还是尝试可能更优的新动作；3）奖励稀疏，即多数时间步缺乏明确反馈，训练信号不足。 2.2.方法源流：从心理学到现代算法体系 强化学习的思想可追溯至行为主义心理学。桑代克1898年的效果律指出，带来良好结果的行为更容易被强化；贝尔曼在20世纪50年代通过动态规划和马尔可夫决策过程奠定数学框架。Richard Sutton与Andrew Barto进一步将强化学习体系化，提出时序差分（TD）学习等核心方法，并因相关奠基性贡献获得2024年图灵奖。此后，Q-learning、策略梯度、PPO等算法相继形成，DQN和AlphaGo则推动强化学习进入更广泛的产业视野。 2.3.重要性提升：从补充工具到后训练关键方法 强化学习的重要性在近年明显提升。（1）AlphaGo以自我对弈强化学习展示了机器在规则明确任务中突破人类示范上限的可能；（2）RLHF使大模型能够根据人类偏好进 行对齐；（3）OpenAI o1、DeepSeek R1等推理模型进一步使用可验证奖励强化学习提升数学和编程等任务表现。由此看，强化学习已成为后训练、偏好对齐和可验证推理的重要工具。但在数字AI中，它仍主要位于后训练和推理增强环节，并不替代预训练成为主引擎。 2.4.大模型应用：主要位于后训练阶段 强化学习在大模型训练中主要用于后训练，而非预训练。预训练通常依靠自监督学习，通过下一个token预测等任务形成通用表征；监督微调（SFT）使用人工示范答案，本质上属于模仿学习；RLHF进一步根据人类偏好优化模型输出，RLVR则利用答案对错、测试是否通过等可验证奖励优化推理能力。整体看，预训练负责形成通用底座，强化学习主要承担对齐、纠偏和推理强化。 2.5.样本效率争议：蛋糕论与客观边界 杨立昆的“蛋糕论”强调，自监督学习是学习世界表征的主体，监督学习和强化学习分别只是较小部分。其核心理由在于，强化学习单次交互得到的信息量有限，样本效率较低，难以单独从零建立对世界的理解。我们认为，该观点适用于表征学习阶段：从零获得世界模型和通用表征，主力仍是自监督学习；但在已经具备预训练底座后，强化学习在偏好对齐、可验证推理和策略优化中的作用正在上升。 3.模仿学习：以专家示范形成策略 行为克隆是模仿学习的基础形式。模型将专家在不同状态下的观察和动作记录作为监督学习样本，直接学习从图像、传感器输入或状态到动作的映射。1989年卡内基梅隆大学ALVINN使用三层神经网络从摄像头图像输出方向盘转角，被视为端到端神经网络自动驾驶的早期形态。 行为克隆的核心约束是分布漂移。模型训练时主要看到专家轨迹，一旦推理阶段因小误差进入训练数据未覆盖状态，后续动作可能继续偏离，误差逐步累积。Ross与Bagnell在2010年对该问题进行了理论刻画。 缓解分布漂移主要有两类路线：1）逆强化学习（Ng与Russell，2000）不直接学习动作，而是从示范中反推专家优化的奖励函数，再据此求解策略；2）交互或对抗式模仿方法，例如DAgger让专家在模型偏离处补充示范，GAIL则通过生成对抗学习使模型行为分布接近专家行为分布。 4.两者分工：学习信号、风险与能力边界 模仿学习和强化学习的差异，首先来自学习信号不同，并进一步影响数据要求、训 练风险和能力上限。 整体看，模仿学习训练快、稳定性较高，但通常受限于示范者上限；强化学习在可构造奖励、仿真或可验证任务中具备突破示范上限的潜力，但训练较慢、稳定性较弱且试错成本更高。因此，二者在工程系统中常被组合使用。 5.工程范式：先模仿形成初始策略，再强化优化 工程实践通常采用先模仿、再强化的两段式路径。（1）模仿学习用于快速获得可用初始策略，降低探索成本；（2）强化学习在可构造奖励或仿真环境中进一步优化策略，以突破示范数据上限或改善特定目标。 典型系统均体现该组合思路。AlphaGo先通过监督学习吸收约三千万步人类棋谱，再通过自我对弈强化学习提升水平；ChatGPT类大模型先使用人工示范回答进行监督微调，再通过RLHF对齐人类偏好；机器人VLA模型，如Google RT-2、π0，主