生成式增强现实（GAR）
概念
增强现实（AR）旨在将数字内容与用户感知和行动的真实环境相结合。传统AR通过叠加虚拟对象实现增强，但存在内容保真度、交互精度和自然响应性方面的限制。生成式增强现实（GAR）将增强视为世界重新合成的过程，而非传统AR引擎的世界组合。GAR使用统一的生成主干，将环境感知、虚拟内容和交互信号共同编码为连续视频生成的条件输入。
传统AR架构与技术栈
传统AR系统由四个紧密耦合的子系统组成：
- 跟踪和世界理解：执行环境跟踪和空间理解，包括姿态估计、几何重建、光照估计和语义理解。
- 场景管理和锚定：定义虚拟内容如何与真实世界对齐，包括坐标系和锚点，以及语义分割和物体识别。
- 渲染和资产处理：处理虚拟元素与相机馈路的组合，管理光照、阴影和遮挡的 photometric 一致性。
- 交互和输入控制：管理用户输入、事件调度和多模态反馈，包括手势、语音、注视和触摸。
生成式增强现实（GAR）范式
GAR用统一的生成主干取代了传统AR引擎的多阶段模块，将环境感知、虚拟内容和交互信号共同编码为连续视频生成的条件输入。GAR通过嵌入物理推理和渲染到统一的潜在过程中，保留了AR循环的感知连续性，同时从根本上改变了资产、计算和控制信号的表示和处理方式。
GAR的技术基础
GAR基于先进的视频生成基础模型，但引入了独特的生成范式，带来了两个主要技术挑战：
- 计算效率：需要实现高效的流式视频生成，以满足实时交互的需求。
- 内容质量：需要在开放和动态的环境中生成时间一致的视频序列，这对当前基础视频模型的能力提出了挑战。
视频生成基础
- 变分和对抗潜在模型：早期生成式视频系统基于潜在变量模型，如变分自动编码器（VAE）和生成对抗网络（GAN）。
- 扩散和流匹配模型：扩散模型将生成学习重新解释为逆转数据中高斯噪声的去噪过程，而流匹配模型则通过确定性传输方程提供扩散的连续时间重新表述。
计算效率优化
- 自回归模型：通过沿着时间维度进行自回归建模来实现流式视频生成。
- 单步生成器：通过修改模型训练过程或对预训练生成模型进行蒸馏来实现单步生成。
- 特征/计算重用：通过重用局部视觉特征或中间计算结果来提高效率。
无限长视频生成和质量优化
- 长期视频质量优化：需要解决无限长视频生成中累积误差的问题。
- 上下文压缩和稀疏化：通过压缩或选择性地路由上下文信息来处理计算问题。
多模态交互控制
- 相机控制：将用户的头部姿势和注视方向作为条件输入，以生成正确的相机视图内容。
- 结构控制：将显示的结构信息（如深度或骨骼）纳入生成模型，以产生遵循给定结构约束的对象。
- 拖动控制：通过用户拖动操作生成运动轨迹，引导内容沿指定路径移动。
- 音频控制：使视频生成模型能够生成与音频内容一致的内容。
场景和资产管理
- 显式管理：通过显式建模场景和资产来确保场景和资产一致性。
- 隐式管理：通过隐式表示资产和场景来更灵活地绕过创作障碍，并在无需预定义建模的情况下实现生成。
GAR的应用前景
GAR有望重塑空间体验，体现在创造力、自适应故事讲述和协作世界方面。
- AR应用领域：工具、商业、文化、生活和游戏。
- 新兴应用空间：教育、学习、情境生成、自适应中介和协同创作合成。
- 体验、能动性和生态转变：从观察转变为共存，从交互转变为协同行动，从系统使用转变为混合环境。
结论
GAR通过将增强视为一个不断学习并通过对持续推理进行创作的动态过程，为下一代AR开辟了道路。GAR不仅扩展了AR的功能，而且开始重塑体验的本质，改变用户如何感知、行动和共存增强环境。
