2025 中国学界对大语言建模的采购性思考人用工智能 AGI 的多渠道调查研究报告中文版

寻找通往通用人工智能的道路 作者 Wm 。 C. HannasHuey - Meei Chang Maximilian Riesenhuber Daniel H. Chou 执行摘要 大型语言模型因其实现“生成”自然语言查询的人类般响应的能力而受到全球关注——这一能力曾一度被视为“证明”意识存在的门槛，并能执行其他节省时间的任务。确实，许多专家认为大型语言模型是具有变革潜力的技术之一。the通往通用人工智能（GAI）的道路——假想中的这样一种状态，在这种状态下，计算机在大多数任务或所有任务上达到甚至超过了人类的技能水平。 通过大规模语言模型（LLM）实现人工智能（AI）的终极目标的吸引力已经吸引了数十亿美元的投资，特别是来自专注于这一目标的大私有企业。在美国和欧洲尤其如此，这些大公司对LLM的关注已经超越了对其他通用人工智能（GAI）方法的研究，尽管LLM存在已知的缺点，如成本高、能耗大、输出不可靠或“幻觉”以及推理能力不足。如果这些公司在LLM上的押注未能兑现向通用人工智能进步的期望，西方的AI开发者可能无法迅速转向替代方案。 相比之下，中国遵循一个由政府驱动、多样化的AI发展计划。与中国相似，中国也在投资大型语言模型（LLMs），同时探索通往通用人工智能（GAI）的替代路径，包括更为明确地受到大脑启发的方法。本报告基于中国顶尖科学家的公开声明、相关研究成果以及中国政府的公告，记录了中国多元化的发展策略。 中国政府还资助研究，旨在向人工智能灌输“价值观”，以引导自主学习、保障人工智能安全，并确保中国的先进人工智能反映人民和国家的需求。本报告建议美国政府支持替代的人工智能项目，并加强对中国人工智能研究的审查。 简介 ： 生成 AI 和通用 AI 实现通用人工智能（GAI）——指能够在广泛的任务范围内复制或超越大多数人类认知技能的人工智能，例如图像/视频理解、连续学习、规划、推理、技能迁移和创造力。1-是中美两国激烈研究工作的关键战略目标。2在国际科学界关于哪条路径能最快实现GAI以及哪些路径可能是误入歧途的问题上存在激 烈的争论。在美国，大型语言模型（LLMs）主导了这一讨论，但对其能否实现GAI的能力仍存疑虑。选择错误的路径可能会使美国处于战略劣势，因此亟需审视其他国家可能正在探索的替代方法。 在美国，许多专家认为，生成式人工智能（GAI）的转型步骤将在新版本的大语言模型（LLMs）推出时发生，如OpenAI的o1、Google的Gemini、Anthropic的Claude以及Meta的Llama。3其他人则认为，鉴于持续存在的问题如大语言模型（LLM）的幻觉现象，无论投入多少计算资源、反馈数据或多元模态数据源，都无法使LLM达到通用人工智能（GAI）。4还有其他 AI 科学家认为 LLM 在 GAI 平台中的作用 ， 但不是唯一的， 甚至是主要的组件。5 pondering 如何实现通用人工智能（General Artificial Intelligence，GAI）这一问题非常重要，因为它关系到那些追求人工智能传统圣杯——人类水平智能的开发者可选择的途径。通往 GAI 的道路——或是一条道路——是否是继续大型语言模型（LLM）的发展，并可能辅以其他模块？还是说 LLM 已经达到了死胡同，需要采取完全不同的、基于更接近人类认知和大脑功能仿真的方法？ 鉴于 LLM 的成功 ， 投资水平 ，6高度认可的AI科学家的背书、由实际案例带来的乐观情绪，在面对公司有巨大投入的研究模型时重新构想新方法的难度，使得人们容易忽视过度依赖单一研究范式的“ monoculture”风险。7如果大型语言模型（LLMs）的能力存在局限性，而缺乏足够的多样化研究组合，西方公司和政府在寻找能够克服LLMs问题的其他解决方案以通往通用人工智能（GAI）的道路时，其效果尚不明确。 一个多元化的研究组合正是中国实现其由国家赞助的目标“通用人工智能”（通用人工智能）所采用的方法。8这份报告将显示 ， 除了中国已知的和惊人的努力 ， 以部署类似ChatGPT 的 LLM ，9- 大量资源在中国被引导到 GAI 的替代途径 科学家们对“大数据，小任务”（大数据，小任务）方法能否达到人类能力水平表示了合理的担忧。10 相应地，本文针对两个问题进行了探讨：中国科学家对大语言模型（LLMs）作为通用地智能路径有何批评？中国是如何管理大语言模型所谓的不足之处的？ 论文首先（第1部分）批判了非中国人工智能科学家对大型语言模型及其支持通用人工智能能力的观点。该部分为第2部分提供了上下文，该部分描述了在线来源中中国科学家对大型语言模型（LLMs）的看法。第3部分引用了支持中国关于大型语言模型作为通向通用人工智能路径不可行性公开声明的研究。在第4部分中，我们基于这些观点评估并提出建议（第5部分），强调为什么必须认真对待中国的替代项目。 大型语言模型及其批评者 术语 “大型语言模型 ” 抓住了两个事实 ： 它们是大网络通常具有数十亿到数万亿的参数 ， 它们是在自然条件下训练的语言，从互联网和其他来源摄入了数以太字节的文本。大型语言模型（LLMs）和神经网络（NN）通常与依赖于基于规则编码的传统符号人工智能（GOFAI）在类型上有所不同。此外，当前的大规模模型可以在不同程度上处理多模态输入和输出，包括图像、视频和音频。11 LLM 于 2017 年首次亮相 ， 当时谷歌工程师提出了一个 NN 架构 - 称为变压器—优化以通过学习“关注”训练语料库中“标记”（单词或单词部分）共现关系来发现文本序列中的模式。12不同于人类知识，LLM中捕获的知识并非通过与自然环境的互动获得，而是依赖于从序列中令牌间的位置关系推导出的统计概率。大规模的语料库暴露使得模型能够学习这些概率关系。培训期间允许 LLM 识别在总体上可用于生成训练后对人类提示的响应。因此 ， OpenAI 产品名称 “GPT ”(生成预训练变压器) 。 大型语言模型（LLMs）融合不同信息源的能力（这充分发挥了神经网络在模式匹配和在复杂空间中发现相似性方面的传统优势）已经催生了在文本摘要、翻译、代码编写和定理证明等多个领域应用的出现。 然而，关于这种发现和利用规律的能力是否足以实现AGI（人工通用智能）仍存在热烈的 debate。最初关于大型语言模型“意识”的乐观报告逐渐被越来越多的研究所补充，这些研究显示了大型语言模型在理解语言和进行类人推理方面存在严重缺陷。13 LLM 中的一些持续缺陷 ， 如在基础数学中 ，14显示可由插件纠正 ，15即，针对大语言模型（LLM）弱点专门化领域的外部程序。实际上，这样的方法——即由在不同认知方面专业化的一系列系统组成的网络——更类似于大脑，大脑具有专门模块，例如用于情景记忆、数学、推理等，而不是像大语言模型那样单一的过程。16 有些科学家希望单纯增加复杂性可能有助于克服大语言模型（LLMs）的缺陷。例如，Geoffrey Hinton 认为，得益于与他共事过的OpenAI前首席科学家Ilya Sutskever的一种直觉，规模的扩大将解决其中的一些问题。从这一角度看，由于其能够“推理”，LLMs 已经具备了“推理”的能力。 安全和新兴技术中心 | 4 预测下一个符号 [和] 预测是大脑如何学习的一个相当合理的理论。17 indeed，从GPT-2到GPT-4复杂性的增加导致了在各种基准任务上的性能提升，例如“理论思维”（theoryof mind）。18（ 关于精神状态的推理) ， 其中 GPT - 3.5 指出了缺陷。19 其他类似的缺陷更难以解决，并且即使增加模型复杂度，这些缺陷仍然存在。具体而言，“幻觉”，即大语言模型（LLM）做出错误断言（这是一个与神经网络设计相关的问题，神经网络旨在进行插值，而不同于大脑，它不将事实存储与插值分开），以及推理错误，都难以克服。20随着研究显示，错误或幻觉答案的几率随模型复杂度增加而上升。21 此外，通过增加模型复杂性以期在某一计算阈值被跨越后实现新颖且质上不同的“涌现”行为的战略也受到了质疑。研究显示，之前在较大模型中观察到的“涌现”行为实际上是所使用的度量标准的产物，并不能表明模型性能有任何质的变化。22相应地，关于大语言模型（LLMs）“新兴”的说法在近期的研究文献中有所减少，即使模型的复杂性不断提高。23 确实，有人合理地担忧，大语言模型（LLM）在标准化测试中表现出色可能更多归因于神经网络众所周知的模式匹配能力，而非发现新的策略。24 其他批评主要集中在基础认知和哲学问题上，如泛化能力、形成深层次抽象、创造能力、自我导向、建模时间与空间、展现常识以及反思自身输出。25管理模糊表达，基于新信息重新评估，权衡利弊论点（做出决策），把握细微差别。26 尽管这些缺陷在西方的研究文献中被讨论，包括大型语言模型（LLMs）难以在不重新训练基础模型的情况下轻松添加超出上下文窗口的知识，以及大规模语言模型训练对计算和能源需求极高的问题，当前大多数商业玩家在人工智能领域的投资（例如OpenAI、Anthropic）仍在沿着这条道路进行。问题不仅在于“我们正在投资一个可能无法实现的理想未来”。27但正如Google AI研究者Franҫois Chollet所说，“LLMs吸走了室内的氧气。everyonejust在做LLMs。”28 中国人将 LLM 视为通向通用 AI(或不) 的途径 中国顶尖人工智能研究机构顶级科学家的观点回顾显示，对大语言模型（LLMs）独自引领产生通用人工智能（GAI）的能力存在高度怀疑。这些批评与国际专家的意见相似，因为两组人都面临相同的问题，并且中国的人工智能专家通常会与全球同行进行互动。29 以下是几位中国科学家对 LLM 的看法 ， 认为这是通往通用 AI 的途径。 唐杰（ 唐杰) 是清华大学计算机科学教授 ， 智普(智谱) 的创始人 ，30北京人工智能研究院 (BAAI) 的领军人物 ，31和几个土著 LLM 的设计师。32尽管唐在统计模型方面取得了成功，他 arguing 认为达到人类级别的AI要求模型“存在于世界之中”。33尽管他相信缩放定律 (规模法则)34“还有很长的路要走 ” ， 仅凭这一点并不能保证 GAI 会实现。35一条更富有成果的道路将从生物学中获得线索。用他的话说: 基于大型模型的GAI或机器智能并不一定必须与人类大脑认知的机制相同，但分析人类大脑的工作机制可能更能激发GAI的实现。36 张亚勤张亚勤（AKA 张亚勤）与微软亚洲研究院共同创立，曾任百度总裁，是清华大学人工智能产业研究院（智能产业研究院）创始院长以及BAIAI顾问。张亚勤指出语言模型（LLMs）存在三个问题，分别是低计算效率、无法“真正理解物理世界”以及所谓的“边界问题”，即分词问题。37张（与Goertzel一致）认为，“我们需要探索如何将大规模生成概率模型与现有的‘基本原理’或真实世界模型以及知识图谱相结合。”38 黄铁军黄铁军是北京人工智能研究院（BAAI）的创始人和前主任，以及北京大学人工智能研究院副院长。黄铁军提出了三条通往通用人工智能（General Artificial Intelligence, GAI）的道路：“信息模型”，基于大数据和大计算；“体态模型”，通过强化学习进行训练；以及脑模拟——北京人工智能研究院在这方面有着重要的投资。39黄认为LLM的扩展定律将继续起作用，但他补充说，“不仅需要收集静态数据，还需要实时获取和处理多种传感信息。”40在他看来 ， GAI 依赖于将统计模型与受大脑启发的 AI 和体现相结合 ， 即 ： LLM 代表 “基于大数据的静态涌现 ”(是基于大数的静态涌现)相比之下，受脑启发的智能基于复杂的动态过程。而体现式智能则通过与环境互动来生成新的能力。41 Xu Bo( 徐波 ), 中国科学院大学人工智能学院院长（School of Artificial Intelligence at Unive