扩散模型、状态空间模型和代码世界模型在代码智能中的应用综述
1. 引言：自回归模型的瓶颈
现代大型语言模型（LLMs）主要采用自回归（AR）框架，将序列的合概率建模为条件概率的乘积。然而，这种框架在代码生成中存在三个关键瓶颈：
- 序列依赖性：强制单向、逐个token生成，阻止跨位置的multi-token预测，不允许修改先前生成的token，导致早期错误传播。
- 计算成本：O(N self-attention)的计算成本呈平方级（O(N^2)）增长，处理大型库级上下文成本过高。
- 语义脱节：将代码纯视为文本，缺乏对执行语义的内在理解，可能生成语法正确但功能错误的代码。
2. 扩散模型：迭代优化的范式
扩散模型（DMs）通过整体去噪生成代码，捕捉了自回归模型常忽略的长距离句法约束。其核心特点包括：
- 去噪过程：逐步将噪声序列转化为连贯的输出，引入迭代优化，取代单次去噪编码。
- 全局优化：通过潜在表示维持整个序列，在每一时间步都通过左右上下文进行生成，支持多标记预测。
- 并行解码：同时更新序列中的所有标记，实现多标记预测和双向上下文感知。
- 代码生成：首个模型CODEFUSION通过将连续段落去噪（CPD）应用于代码，仅向标识符或内置关键字添加噪声。近期研究将自回归（AR）模型应用于扩散框架，通过移位操作和注意力掩码退火实现代码生成。
- 代码编辑与测试用例生成：将软件进化视为一条通往干净全局状态的有序路径，在真实世界编辑轨迹中表现出色。
- 安全、诊断与系统分析：DiffTester利用扩散模型的并行生成能力生成单元测试，DivoT5模拟人类开发者的逐步代码编辑行为。
3. 状态空间模型：高效长上下文架构
状态空间模型（SSMs）通过将序列建模为潜在动力系统的演化，提供了一种概念上不同的解决方案：
- 线性计算复杂度：每个token更新一次潜在状态，实现线性复杂度，高效建模长序列。
- 现代神经状态空间架构：S4架构引入结构化状态空间参数化，DSS/S4D和S5层提升可扩展性。MAMBA支持输入相关的状态转换，提高表达能力。
- 混合架构：将注意力机制与状态空间层相结合，利用互补优势，Jamba等架构将Transformer注意力块与Mamba层集成。
- 代码长距离序列任务：CODESSM评估了基于SSM的编码器在代码检索、漏洞检测等任务上的表现，表明其在扩展到更长的上下文时，能够以更低的内存开销实现具有竞争力的样本效率。
4. 代码世界学习：执行语义建模
代码世界模型（CWMs）旨在模拟执行环境，捕捉代码执行的可能未来状态：
- 执行轨迹和智能体交互轨迹：通过模拟局部变量更新如何在代码库中产生涟漪效应，学习执行语义。
- 评估趋势：从孤立的代码片段转向现实软件工程工作流，使用解决率和任务完成情况等指标衡量成功。
5. 讨论：代码模型的认知对齐
自回归（AR）模型将编程视为一项自然语言任务，与人类编写代码的非线性过程不匹配：
- 认知神经科学的见解：人类开发者非线性地编写代码，迭代修改、调试和结构优化，而AR模型缺乏这种反馈循环。
- 世界模型方法：不再评估孤立的代码片段，而是在仓库规模软件工程基准上进行评估，捕捉模型与开发环境交互以及执行多步推理的能力。
6. 结论与未来展望
下一代代码智能将由能够综合多种范式的优势、以认知原则为基础模拟人类方法的混合架构来定义：
- 混合架构：结合扩散模型的迭代优化、状态空间模型的长上下文推理和代码世界模型的执行接地机制。
- 未来方向：最有前景的方向可能在于结合多种范式的优势，通过带可验证奖励的强化学习（RLVR）等后训练机制整合系统2推理循环。
- 局限性与挑战：不同建模范式之间难以进行直接的实证比较，需要更统一的评估框架，衡量长上下文推理、迭代编辑和执行感知的软件工程能力。
