数字游戏中人工智能的未来研究途径：一份探索性报告

Markus Dablander∗梁基础委托†作为独立合同人工智能研究员 Abstract 视频游戏是人工智能（AI）系统的一个自然且协同的应用领域，既有可能提升玩家体验和沉浸感，也提供了宝贵的基准和虚拟环境，以促进AI技术的整体进步。本报告提供了在当前研究背景下，将最新的人工智能方法，特别是深度学习，应用于数字游戏的五个有前景的研究路径的高层次概述。本工作的目标是在人工智能与视频游戏的交界处勾勒出一份精选且非详尽的研究方向清单，旨在激发未来更为严谨和全面的研究努力。我们讨论了以下几点：（i）探索大型语言模型作为游戏代理建模的核心引擎；（ii）使用神经细胞自动机生成程序化游戏内容；（iii）通过深度代理模型加速计算密集型的游戏内模拟；（iv）利用自监督学习获取有用的视频游戏状态嵌入；以及（v）使用未标记的视频数据训练交互世界的生成模型。我们还简要探讨了将先进的深度学习系统整合到游戏开发中所面临的技术挑战，并指出了进一步取得进展的关键领域。 1 Introduction 在过去的十年中，先进神经网络架构的兴起导致了机器学习和人工智能（AI）领域一系列dramatic 突破。基于GPU加速的大规模、精心设计的深度学习模型的训练使研究人员能够解决计算机视觉等多个领域中以前难以解决的问题。1,2,3,4,5] ， 自然语言处理 [6,7,8,9] ， 人工内容生成 [10,11,12,13] 和计算化学 [14,15,16,17,18] 。现代深度学习的一个非常有前途和自然的应用领域 ，数字游戏 这将在本报告中探讨 ， 是. 人工智能研究在游戏领域的重点已经拥有悠久而重要的历史。特别是在经典棋类游戏如国际象棋、跳棋和围棋的研究，对整个AI领域的发展起到了奠基性和关键性的作用。19,20]. 许多游戏的高结构化特性使得简单的规则可以在计算框架中轻松表达，并从中涌现出巨大的复杂性和战略深度；因此，游戏长期以来一直被认为是检验推理能力的理想场所。2016和 AI 代理的规划能力。在， 当第一个 AI 系统在围棋游戏中实现了超人的表现 [21] ， 当时它代表了最后一个主要的 ， 流行 的棋盘游戏 ， 在该游戏中 ， 人类专家的表现仍然优于计算机。 特别是在那之后，数字游戏越来越多地被认可为人工智能研究的下一个伟大前沿之一。近年来，在开发能够掌握实时战略视频游戏（如《星际争霸II》）的人工智能代理方面取得了显著进展。22] ， 以及多人在线战斗竞技场视频游戏 ， 例如 Dota 2 [23], 两者都对AI系统构成了比经典棋盘游戏更为严峻的挑战。同时，关于一般能够学习玩多种不同类型的街机视频游戏的AI模型已成为一个活跃的研究领域[24,25,26] ， 并且在该领域的工作可能会成为在其他领域开发更通用的 AI 系统的垫脚石。 重要的是，视频游戏不仅有可能丰富当前的AI研究；反之亦然。AI研究与数字游戏之间存在着相互促进的关系 [19,20,27], 通过电子游戏提供了有价值的基准、试验平台和虚拟环境来测试新型人工智能系统，而这些新型人工智能系统反过来也为电子游戏开发者提供了丰富的机会以提升其创意产品。部分原因是由于近期人工智能技术，尤其是深度学习的迅速进步，许多这些机会尚未得到充分利用且尚未被充分探索。 本报告旨在提供一份简洁的初步概览，介绍五种潜在的研究方向，这些研究方向将最新的AI技术应用于数字游戏领域。虽然我们的重点主要在于当前AI方法如何增强数字游戏，但AI与电子游戏之间的相互关联使得研究这些主题也可能为AI本身带来新的见解和进展成为可能。本探索性报告的目标并非提供一套全面且成熟的科研提案，或展示新的原创研究成果。相反，重点在于提供一组推测性的高层次想法，这些想法可以激发未来更加严谨和集中化的研究努力。所选领域并非详尽无遗，而是代表了一组经过精心挑选并具有主观性的想法，在我们审视当前研究景观时，这些想法显得特别引人入胜。 Yannakakis 和 Togelius 的基础书 [20], 本研究的重要参考之一，概述了人工智能在视频游戏领域的三大核心应用： 用于游戏和代理建模的 AI•， 其中包括模拟人类的角色 玩家 [22,23] ， 或在最广泛的意义上控制其他游戏代理 ， 例如非玩家角色(NP C) [28,29] ， 或管理游戏环境各个方面的隐藏代理 [30].用于程序内容生成的 AI •[31which includes 通过算法创建游戏关卡、音乐、纹理、艺术作品、对话、物 品、角色或任何其他数字内容。用于玩家建模的 AI [32] ， 其中包括对人类玩家特征的建模 ， • 例如基于测量的游戏玩法和玩家数据的玩家类型、预测的游戏中行为或情绪状态。 所有这三个领域都反映在下面讨论的研究途径中 ， 更强调前两个。 2 个用于游戏代理建模的大型语言模型 大型语言模型(LLM) ， 如 OpenAI 的 GPT - 4 [33] ， Google 的 Llama 3 [34] ， 以及安邦的克劳德 3 [35] 由于其先进的能力以维持现实的对话流程并生成解决广泛语言相关任务的灵活方案，它们近期已变得极其重要。当前最先进的大规模语言模型几乎完全基于2017年的变种。变压器架构 ， 在 Vaswani 等人的开创性工作中介绍。 [7] in. 变压器 网络依赖的概念自我注意，一种设计用于有效捕捉序列数据中长期依赖关系和上下文信息的深度学习机制。许多大型语言模型（LLMs）的核心训练过程是自我监督且自回归的，这意味着这些模型通过基于前一个词（或子词标记）的概率预测下一个词来生成文本进行训练。大型语言模型通常包含数十亿个可训练参数，并经常使用从公开来源（如书籍和网站）收集的大规模未标注文本数据集进行训练。36]. 目前，大语言模型（LLMs）在视频游戏AI研究领域引起了广泛关注，因其在一系列游戏相关任务上的潜在应用价值［37,38] 。例如 ， LLM 最近在超级马里奥兄弟[39] ，自主播放Minecraft通过为合适的游戏 API 生成代码 [40] ， 从书面游戏评论中系统地提取玩家情感 [41] ， 以及自动生成的动态音频评论英雄联盟游戏玩法 [42]. 在数字游戏领域涵盖所有有潜力的大型语言模型（LLM）应用场景超出了本探索性报告的范围。然而，我们简要突出一个我们认为特别值得关注的研究方向。游戏代理建模 有趣的是 ， 使用 LLM. 游戏代理建模包括开发和控制队友、敌人、伙伴、商人、旁观者以及其他各种虚拟角色。在这一广泛领域中，大型语言模型（LLMs）最明显且富有成效的应用之一可能是使NPC代理能够进行自然且未预编对话，不仅与彼此还能与人类玩家。这一领域的初步研究已经启动，43,44,45进一步整合大语言模型（LLMs）作为NPC对话系统可能显著提升虚拟角色的逼真度，从而带来更为深刻和沉浸式的视频游戏体验。 区域动态对话生成。在， 胡等人 [46] 给出了一个关于通用游戏代理的整体认知架构的概念描述，该架构将LLM嵌入到包括感知、记忆、角色扮演、行动和学习在内的其他子模块网络的核心思考组件中。借鉴Hu等人工作的成果，可以设想基于LLM的认知模型。感知 架构大致工作如下 ：模块将当前游戏状态转换为思考文字说明 ；由 LLM 供电的模块接收来自感知的输出记忆模块和相关的基于文本的记忆从检索模块输出文本操作行动计划 ； 这些计划由模块转换为可执行的低级游戏操作 ；角色扮演 尽管上述每个模块都可以单独 merits 一个详尽的研究项目，但通过将大语言模型（LLM） 基于LLM的思维过程通过模块额外偏向了字符信息，并且通过诸如强化学习或监督学习等技术持续更新。学习goal整合到更广泛的认知架构中，首次成功设计游戏代理的尝试已经取得。最显著的是，Park等人 [44] 创建了一个交互式人工 25社会由一个虚拟的2D村庄构成，其中包含具有不同个性和职业的基于LLM的游戏代理。每 由module. One may also consider introducing a separate模块 ， 该模块以基于文本的方式管理代理的目标 ， 并与其他模块进行交互。个代理维护一个基于文本的记忆流，其中包括代理感知的全面列表、生成的动作计划以及合成的高层次反思。一个LLM与代理的记忆流和当前感知交互，以生成新的反思并调整行动计划。这种方法导致了一套令人印象深刻且逼真的自我组织和涌现的社会行为：代理进行自然对话、协调行动、传播信息，并动态更新社会关系记忆。这是一种基于LLM的认知架构的简单示意图，深受Park等人研究工作的启发[。44] 和胡等人 [46] ， 如图1. 进一步的努力，例如Park等人所做的工作，将LLMs整合到更广泛的认知模块网络中，不仅能够促进更具沉浸感的视频游戏角色的发展，还能够推动相关技术的整体进步。 用于游戏测试的更加拟人化的虚拟代理，同时也推进了关于大规模语言模型（LLMs）是否真正适合作为通用人工智能核心引擎这一有争议问题的研究【47,48]. 3 用于程序内容生成的神经细胞自动机 元胞自动机 (CA) [49,50] 是一个广泛研究和多样化的数学家族t 每个单元格都有一个由数字(或数字向量) 表示的状态 ， 以及它在时间上的状态t 由自身状态及其在时间 时刻邻近单元格的状态决定，并根据局部转换函数定义这些状态如何演变。许多读者可能熟悉的 CA 的一个简单而标志性的例子是由康威的生命游戏[51] ， 它发生在正方形单元的无限 2D 正交网格上 ， 每个正方形单元只能处于两种可能状态之一，dead or活着. 给定初始配置后，细胞状态开始基于一个简单的转换函数演化，该函数仅考虑细胞在某一时间点周围有多少个死细胞或活细胞。尽管极其简单，康威的《生命游戏》仍表现出一系列令人印象深刻的复杂自组织行为。1 CA 已经在视频游戏中取得了相当的成功，例如用于为游戏生成无限洞穴层级。洞穴履带式[52] ， 自动生成迷宫运行游戏可玩的迷宫 [53] ， 对沙子或土壤等颗粒状介质进行建模 [54] ， 或模拟虚拟环境中的侵蚀 [55]. CA 是高度计算效率的模型，可用于生成复杂的虚拟内容。同时，CA 概念简单，易于理解且容易实现。然而，CA 的构造性和 emergent（涌现性）性质也使得它们难以控制 [20]. 在一般情况下，给定一个局部转换函数，很难预测从特定初始网格状态会随着时间演变出哪种模式；即使初始状态极其相似，也可能迅速以混沌的方式发散，导致完全不同的结果 [56] 同样地，识别一个局部转换函数，该函数能够随着时间将给定的初始状态映射到期望的模式，这是一个非平凡的技术问题。这些特性限制了细胞自动机作为视频游戏内容生成器的应用，因为它使得难以对生成的内容施加必要的约束条件。这样的约束条件可能包括但不限于特定的游戏机制、故事情节或视觉效果。 图2：神经细胞自动机（NCA）在训练完成后如何迭代生成目标树木图像的概念图（未由实际的NCA生成，仅用于说明目的）。NCA是一种局部转换函数由神经网络参数化的细胞自动机。Mordvintsev等人的[注：原文中“Mordvintsev et al.”后的方括号保持不变，但根据上下文和常见做法，可以考 虑将其解释为参考文献引用的开始，因此在此处加上“注：”以提示后续处理时可能需要进一步的格式调整。59]: 展示了如何使用梯度基于的方法对NCA进行训练，使其能够从单个初始细胞有机地生长出一个任意预定义的目标模式。NCA还可以学习在受到类似于其预期目标模式干扰的情况下自动重新收敛回其目标模式。自我再生. 包括确保某一关卡或特定形状的游戏对象的可解性，以及其连通性和美学风格。 神经细胞自动机最近,[57,58] 已经越来越被研究视为解决这些不足之处和允许对支配CA的动力学过 程进行更大控制的一个重要途径。一个神经细胞自动机（NCA）是一种局部转换函数由可训练的神经网络参数化的CA。在神经细胞自动机领域的一个关键贡