汉语对大型语言模型的批判

寻找通往通用人工智能的道路 作者 Wm 。 C. HannasHuey - Meei Chang Maximilian Riesenhuber Daniel H. Chou 执行摘要 大型语言模型因其实现“生成”类似人类的回答以应对自然语言查询的能力而全球范围内引起了广泛关注——这一能力曾经被视为证明意识存在的“证据”，并能够执行其他节省时间的任务。确实，许多专家认为大型语言模型是具有重要意义的技术突破。the通向通用人工智能（GAI）的道路——这种假设的状态，在某些或所有任务中计算机的能力达到甚至超过了人类的技能。 通过大型语言模型（LLMs）实现人工智能（AI）的终极目标的吸引力已经吸引了数十亿美元的投资，特别是对于那些致力于这一目标的公司而言。在美国和欧洲，大型私营企业走在了前列，它们对LLMs的关注掩盖了对其他GAI方法的研究，尽管LLMs存在已知的缺点，如成本高、能耗大、输出不可靠或“幻觉”以及推理能力不足。如果这些公司的押注未能兑现向GAI进展的期望，西方的AI开发者可能难以迅速转向其他替代方法。 相比之下，中国遵循一种由国家驱动、多元化的AI发展计划。与美国类似，中国也在投资大型语言模型（LLMs），同时探索通往通用人工智能（GAI）的其他途径，包括更具脑启发性的路径。本报告基于中国顶尖科学家的公开声明、相关研究以及中华人民共和国政府的公告，记录了中国多方面的策略。 中国政府还资助研究，旨在向人工智能灌输“价值观”，以引导自主学习、提供人工智能安全，并确保中国的先进人工智能反映人民和国家的需求。本报告建议美国政府支持替代的人工智能通用项目，并对中国的AI研究进行更密切的审查。 简介 ： 生成 AI 和通用 AI 实现通用人工智能（GAI）——指能够在广泛的任务范围内复制或超越大多数人类认知技能的人工智能，例如图像/视频理解、连续学习、规划、推理、技能迁移和创造力。1-是中美两国激烈研究工作的关键战略目标。2国际科学界就哪条路径能最快实现AGI以及哪些路径可能是错误方向的问题上存在激烈的 争论。在美国，大规模语言模型（LLMs）主导了这一讨论，但对其能否实现AGI的能力仍存疑虑。选择错误的道路可能会使美国处于战略劣势，因此这增加了审视其他国家可能正在探索的替代方法的紧迫性。 在美国，许多专家认为，生成式人工智能（GAI）的转型步骤将在新版本的大语言模型（LLMs）推出后发生，如OpenAI的o1、Google的Gemini、Anthropic的Claude以及Meta的Llama。3其他人则指出，尽管存在持续的问题如大语言模型（LLM）的幻觉，无论计算能力、反馈机制还是多模态数据源如何提升，都无法使LLM实现通用人工智能（GAI）。4还有其他 AI 科学家认为 LLM 在 GAI 平台中的作用 ， 但不是唯一的 ，甚至是主要的组件。5 考虑如何实现通用人工智能（GAI）这一问题非常重要，因为它触及了追求人工智能传统圣杯——人类水平智能的开发者所面临的选择。通向GAI的道路——或是多条道路之一——是否是继续大型语言模型（LLM）的发展，并可能通过增加额外模块来增强？还是说，大型语言模型是一条死胡同，需要采取完全不同的、基于更接近模仿人类认知和大脑功能的方法？ 鉴于 LLM 的成功 ， 投资水平 ，6高度认可的AI科学家的背书、通过实际案例产生的乐观情绪，在面对公司有巨大投入的研究模型时重新构想新方法的难度，很容易让人忽视过度依赖单一研究范式的“ monoculture ”风险。7如果大型语言模型（LLMs）的能力存在局限性，而缺乏足够多样化的研究组合，西方公司和政府在寻求其他解决方案以克服LLMs的问题并通往通用人工智能（GAI）的道路时，其能力将变得不清楚。 一个多元化的研究组合正是中国实现其由国家赞助的目标“通用人工智能”（通用人工智能）所采取的方法。8这份报告将显示 ， 除了中国已知的和惊人的努力 ， 以部署类似ChatGPT 的 LLM ，9- 大量资源在中国被引导到 GAI 的替代途径 科学家们对“大数据，小任务”（大资料，小任务）方法达到人类能力水平的可能性表达了合理的担忧。10 相应地，本文针对两个问题进行了探讨：中国科学家对大规模语言模型（LLMs）作为通用人工智能路径的看法是什么？中国是如何管理这些模型被认为存在的不足之处的？ 论文首先（第1部分）批判了知名非中国人工智能科学家对大型语言模型及其支持通用人工智能（GAI）能力的看法。该部分为在线来源中描述的中国科学家对大型语言模型（LLMs）的看法提供了背景（第2部分）。随后，第3部分引用了支持中国关于大型语言模型作为通向通用人工智能途径不可行性的公开声明的研究。在第4部分中，我们基于这些声明评估了中国的替代项目，并在此基础上在第5部分提出了建议，强调为何必须认真对待这些项目。 大型语言模型及其批评者 术语 “大型语言模型 ” 抓住了两个事实 ： 它们是大网络通常具有数十亿到数万亿的参数 ， 它们是在自然条件下训练的语言，从互联网和其他来源摄入了数以太字节的文本。大型语言模型（LLMs）和神经网络（NN）一般而言在类型上与依赖于基于规则编码的传统符号AI（GOFAI）不同。此外，当今的大规模模型可以在不同程度上处理多模态输入和输出，包括图像、视频和音频。11 LLM 于 2017 年首次亮相 ， 当时谷歌工程师提出了一个 NN 架构 - 称为变压器—优化以在文本序列中寻找模式，通过学习“关注”训练语料库中“标记”（单词或单词部分）共现关系。12不同于人类知识，LLM中捕捉的知识并非通过与自然环境的互动获得，而是依赖于序列中令牌间位置关系统计概率的分析。大量的语料库暴露有助于这一过程。培训期间允许 LLM 识别在总体上可用于生成训练后对人类提示的响应。因此 ， OpenAI 产品名称 “GPT ”(生成预训练变压器) 。 大型语言模型（LLMs）融合不同信息源的能力（这充分发挥了神经网络在模式匹配和在复杂空间中发现相似性方面的传统优势）催生了在文本摘要、翻译、代码编写和定理证明等领域应用的出现。 然而，关于这种发现和利用规律的能力是否足以实现通用人工智能（GAI）仍存在热烈的辩论。最初关于大型语言模型（LLMs）“意识”的乐观报道越来越多地被显示其在理解语言和以人类方式推理方面存在严重缺陷的研究所补充。13 LLM 中的一些持续缺陷 ， 如在基础数学中 ，14显示可由插件纠正 ，15即，外部程序专门针对大语言模型（LLM）的弱点领域。实际上，这种 Approach——由在不同认知方面专业化的一系列系统构成——更类似于大脑，大脑拥有专门的模块，例如用于情景记忆、数学、推理等，而不是像大语言模型那样单一的过程。16 一些科学家希望单纯增加复杂性可能有助于克服大语言模型（LLMs）的缺陷。例如，Geoffrey Hinton 认为，得益于与他合作过的OpenAI前首席科学家Ilya Sutskever的一种直觉，规模的扩大将解决其中的一些问题。在这种观点中，由于能够进行“推理”，LLMs 已经具备了“推理”的能力。 安全和新兴技术中心 | 4 预测下一个符号 [和] 预测是大脑如何学习的一个相当合理的理论。17 indeed，从GPT-2到GPT-4复杂性的增加已在各种基准任务上（如“理论思维”）实现了性能的提升。18（ 关于精神状态的推理) ， 其中 GPT - 3.5 指出了缺陷。19 其他类似的缺陷更难以解决，并且即使增加模型复杂度，这些缺陷仍然存在。具体来说，“幻觉”，即大语言模型（LLM）做出错误断言（这是一个与神经网络设计相关的问题，神经网络旨在进行插值，而不同于大脑，它不将事实存储与插值分离），以及推理错误，这些都难以克服。20随着研究显示，错误或幻觉答案的可能性随模型复杂度增加而增大。21 此外，通过增加模型复杂性以期在某一计算阈值被跨越后实现新颖且本质不同的“涌现”行为的战略也受到了质疑。研究显示，之前在较大模型中观察到的“涌现”行为实际上是所使用度量标准的产物，并不能表明模型性能有任何本质变化。22相应地，关于大语言模型（LLMs）“ emergent”现象的论述在近期文献中有所减少，即使模型的复杂性不断增加。23 确实，有人合理地担忧，大语言模型（LLM）在标准化测试中表现出色可能更多归因于神经网络众所周知的模式匹配能力，而不是发现了新的策略。24 其他批评主要集中在基础的认知和哲学问题上，如泛化能力、形成深刻的抽象概念、创造能力、自我导向、建模时间与空间、展现常识以及反思自身输出。25管理模糊表达，基于新信息重新评估，权衡利弊论点（做出决策），把握细微差别。26 尽管这些缺陷已经在西方的研究文献中被讨论过，包括大型语言模型（LLMs）难以在不重新训练基础模型的情况下轻易添加超出上下文窗口的知识，以及大规模语言模型训练对计算资源和能源的巨大需求等问题，当前大多数商业玩家在人工智能领域的投资（例如OpenAI、Anthropic）仍然沿着这条道路继续前行。问题不仅在于“我们正在投资一个可能无法实现的理想未来”。27但正如Google AI研究者Franҫois Chollet所说，“LLMs吸走了房间里的氧气。 everyone just doing LLMs。”28 中国人将 LLM 视为通向通用 AI(或不) 的途径 中国顶尖人工智能研究机构顶级科学家的言论回顾显示，这些科学家对大规模语言模型（LLMs）独自引领生成性人工智能（GAI）的能力持高度怀疑态度。这些批评与国际专家的观点相似，因为两组人面对相同的问题，并且中国的AI专家通常会与全球同行进行交流。29 以下是几位中国科学家对 LLM 的看法 ， 认为这是通往通用 AI 的途径。 唐杰（ 唐杰) 是清华大学计算机科学教授 ， 智普(智谱) 的创始人 ，30北京人工智能研究院 (BAAI) 的领军人物 ，31和几个土著 LLM 的设计师。32尽管唐在统计模型方面取得了成功，他 arguing 认为达到人类级别的AI要求模型“存在于世界中”。33尽管他相信缩放定律 (规模法则)34“还有很长的路要走 ” ， 仅凭这一点并不能保证 GAI 会实现。35一条更富有成果的道路将从生物学中获得线索。用他的话说: 基于大型模型的GAI或机器智能并不 necessarily 必须与人类大脑认知的机制相同，但分析人类大脑的工作机制可能更能激发GAI的实现。36 张亚勤张亚勤（AKA 张亚勤）与微软亚洲研究院共同创立，曾任百度总裁，清华大学人工智能产业研究院创始院长，并担任BAAI顾问。张亚勤指出语言大模型（LLMs）存在三个主要问题：计算效率低下、无法“真正理解物理世界”以及所谓的“边界问题”，即分词问题。37张（与Goertzel一致）认为，“我们需要探索如何将大规模生成概率模型与现有的‘基本原理’或真实的世界模型以及知识图谱相结合。”38 黄铁军黄铁军是北京人工智能研究院（BAAI）的创始人和前主任，以及北京大学人工智能研究院副院长。黄铁军提出了三条通往通用人工智能（GAI）的道路：“信息模型”，基于大数据和大计算；“体态模型”，通过强化学习进行训练；以及脑模拟——在北京人工智能研究院占有重要地位。39黄认为LLM的扩展定律将继续发挥作用，但他补充说：“不仅需要收集静态数据，还需要实时获取和处理多种传感器信息。”40在他看来， GAI 依赖于将统计模型与受大脑启发的 AI 和体现相结合 ， 即 ： LLM 代表 “基于大数据的静态涌现 ”(是基于大数的静态涌现)相比之下，受脑启发的智能基于复杂的动态过程。而体现式智能则通过与环境互动来生成新的能力。41 Xu Bo徐波，中国科学院大学人工智能学院院长及中国科学院自动化研究所（CASIA）所长。42and蒲慕明( 蒲慕明，AKA 陈大文)，中国科学院脑科学与智能技术卓越创新中心（CEBSIT，脑科学与智能技术卓越创新中心）主任43相信身体体现和环境交