中国对大语言模型的批判：寻找通用人工智能之路

寻找通往通用人工智能的路径 作者 Wm. C. Hannas Huey-Meei Chang Maximilian Riesenhuber Daniel H. Chou 执行摘要 大型语言模型因其能够“生成”与人类自然语言查询高度相似的回应——这一曾被视为“意识证明”的门槛——以及执行其他节省时间的任务而吸引了全世界的关注。事实上，许多人都认为大型语言模型是一种，或the, 通向通用人工智能（GAI）的路径——那种假想的状态，即计算机在大多数或所有任务上达到（甚至超过）人类技能。 通过大型语言模型实现AI的圣杯所具有的诱惑，已吸引那些聚焦于此目标的投资者投入了数十亿美元的资金。在美国和欧洲尤其如此，大型私营部门公司率先引领了这一趋势，而它们对大型语言模型的关注掩盖了对其他通用人工智能（GAI）方法的研究，尽管大型语言模型已知存在成本、功耗、输出不可靠或“幻觉性”以及推理能力缺陷等弊端。如果这些公司对大型语言模型的投资未能实现向GAI进展的预期，西方人工智能开发者可能难以迅速转向替代方法。 相比之下，中国遵循国家主导、多元化的AI发展计划。与美国类似，中国也投资于LLMs，但同时也探索通往GAI的替代路径，其中包括更明确受脑部启发的路径。本报告基于中国顶尖科学家的公开声明、其相关研究以及中国政府公告，记录了中国的多维度方法。 中国政府还资助研究，旨在将“价值观”融入旨在指导自主学习、保障人工智能安全，并确保中国先进的人工智能符合人民和国家的需求。本报告以建议美国政府支持替代性通用人工智能项目，并对中国的AI研究进行更严格的审查而告终。 引言：生成式人工智能和通用人工智能 实现通用人工智能（GAI）——其定义是指在图像/视频理解、持续学习、规划、推理、技能迁移和创造力等广泛任务的认知技能方面能够复制或超越大多数人类的AI。1—is akey strategic goal of intense research efforts both in China and the United States.2在国际科学界，关于哪条路径将最快实现通用人工智能（GAI）以及哪些路径可能是弯路，存在着激烈的争论。在美国，大型语言模型（LLMs）主导了讨论，但对其能否实现GAI的问题仍存疑虑。由于选择错误路径可能使美国处于战略劣势地位，这凸显了审视其他国家可能正在探索的替代方法的重要性和紧迫性。 在美国，许多专家认为，向GAI的转型性步骤将与新一代大型语言模型（如OpenAI的o1、谷歌的Gemini、Anthropic的Claude以及Meta的Llama）的推出同时发生。3其他观点认为，鉴于LLM幻觉等持续存在的问题，无论多少计算能力、反馈或多模态数据源都无法让LLM实现通用人工智能。4仍有其他人工智能科学家认为大语言模型在通用人工智能平台上具有作用，但它们并非唯一的，甚至也不是主要组成部分。5 思考如何实现通用人工智能（GAI）的问题至关重要，因为它关系到那些追求人工智能传统圣杯——人类水平智能的开发商所拥有的选项。通往GAI的路径——或者一条路径——是自然语言模型（LLM）开发的前沿延续，可能通过附加模块得到增强？或者LLM是一个死胡同，迫使人们采用其他根本不同、基于对人类认知和大脑功能更紧密模拟的方法？ 鉴于大型语言模型的成功，投资水平6在备受推崇的AI科学家们的认可、由成功案例激发的乐观情绪，以及面对公司已投入巨大承诺的现有模型时重新构想新方法的困难面前，很容易忽视依赖基于单一研究范式的“单一文化”所蕴含的风险。7如果大语言模型所能提供的东西存在局限性，而没有足够多元化的研究组合，就不清楚西方企业和政府能否有效地寻求其他解决方案来克服大语言模型的问题，作为通往通用人工智能的途径。 多元化的研究组合正是中国实现“通用人工智能”（General Artificial Intelligence）这一国家主导目标的方式。8本报告将表明——除了中国已知的并付出了巨大努力来部署类似ChatGPT的大型语言模型外，9—大量资源在中国被投入到通往GAI的替代途径中。 科学家们对于“大数据，小任务”（ big data, small task ）方法在达到人类能力的潜力方面存在合理的担忧。10 相应地，本文探讨两个问题：中国科学家对大语言模型作为通向通用人工智能的路径有哪些批评？中国如何应对大语言模型被指出的缺陷？ 该论文从（第1节）非中国人工智能科学家对大型语言模型及其支持通用人工智能能力的批评开始。该节为在线资源中描述的中国科学家对大型语言模型的观点提供了背景（第2节）。然后第3节引用支持中国公开声明的大型语言模型并非实现通用人工智能途径的研究。在第4节，我们评估这些声明作为第5节为何中国替代项目必须被重视的建议基础。 大型语言模型及其批评者 “大型语言模型”这一术语涵盖了两个事实：它们是large网络通常具有数十亿到数万亿个参数，并且它们是在自然语言数据上训练的。语言, 从互联网和其他来源摄取了数太字节的文本。大型语言模型（LLMs）以及神经网络（NN）通常与依赖基于规则的编码的“老式”符号人工智能（GOFAI）在类型学上有所不同。此外，当今的大型模型能够在不同程度上管理多模态输入和输出，包括图像、视频和音频。11 LLMs于2017年首次亮相，当时谷歌工程师提出了一种名为神经网络的架构——transformer—经过优化，旨在通过学习在训练语料库中“关注”词元（单词或单词的一部分）“共现关系”，以在文本序列中寻找模式。12与人类知识不同，LLMs中捕获的知识并非通过与人自然环境互动获得，而是依赖于序列中token之间的位置关系所推导出的统计概率。大量接触语料库在训练期间允许大型语言模型识别规律，这些规律在总体上可以被使用来generate训练后对人类提示的响应。因此，OpenAI产品名称“GPT”（生成式预训练转换器）。 LLM将不同信息来源“融合”的能力（这得益于神经网络在模式匹配和在复杂空间中发现相似性方面的传统优势）催生了许多应用，包括文本摘要、翻译、代码撰写和定理证明等领域。 然而，关于这种发现和利用规律的能力是否足以实现通用人工智能（GAI）的问题一直备受争议。关于“大型语言模型（LLMs）的感知能力”的最初热情洋溢的报告，正越来越多地被报道证明LLMs在理解和以人类方式推理方面的严重缺陷所补充。13 LLMs在一些领域存在持续性的缺陷，例如基础数学。14可由插件修正。15：即，针对大语言模型（LLM）弱点领域的外部专用程序。事实上，这种—一个在认知不同方面拥有专门系统网络的方法—会更像大脑，大脑拥有专用模块，例如用于情景记忆、数学、推理等，而不是像LLM那样单一的过程。16 一些科学家希望复杂性的增加本身或许能帮助克服大型语言模型（LLMs）的缺陷。例如，杰弗里·辛顿（Geoffrey Hinton）归功于伊利亚·苏茨凯弗（Ilya Sutskever，OpenAI的前任首席科学家，曾与辛顿一同学习）的直觉，认为规模能够解决其中一些问题。在这种观点下，大型语言模型凭借其“能够”的能力，已经实现了“推理”。 Center for Security and Emerging Technology | 4 预测下一个符号[并且]预测是一个相当合理的理论，说明大脑是如何学习的。17确实，从GPT-2到GPT-4的复杂性增加导致了在“心智理论”等各种基准任务上的性能提升。18(关于心智状态的推理)，其中在GPT-3.5上发现了缺陷。19 其他此类缺陷更难解决，并且尽管模型复杂度增加，仍会持续存在。具体而言，“幻觉”，即大型语言模型做出不正确的主张（这是一个固有于旨在插值而非像大脑那样将事实存储与插值区分开来的神经网络的难题），以及推理错误一直难以克服。20近期研究表明，随着模型复杂性的增加，错误/幻觉答案的可能性也会增加。21 此外，增加模型复杂性的策略，旨在实现一旦计算阈值被跨越便会出现新颖、定性不同的“涌现”行为，同样受到了研究的质疑，相关研究表明，先前在大型模型中观察到的“涌现”行为，实际上是所用指标的产物，而非模型性能发生任何定性变化的迹象。22相应地，近期文献中关于“涌现”现象在大型语言模型（LLMs）中的说法已经减少，即便模型复杂性有所增加。23 确实存在合理的担忧，即大型语言模型在标准化测试中的出色表现可能更多地归因于神经网络众所周知的模式匹配能力，而非新策略的发现。24 其他对大型语言模型的批评则集中在基本认知和哲学问题上，例如泛化能力、形成深层抽象、创造、自我导向、模拟时间与空间、展现常识、反思自身输出等。25管理模糊表达，根据新信息进行知识解构，评估利弊论点（做出决策），并把握细微差别。26 尽管这些缺陷在西方研究文献中被讨论，例如大型语言模型（LLMs）难以在不重新训练基础模型的情况下轻松地添加超出上下文窗口的知识，或大型语言模型训练需要高计算和能源消耗，但目前人工智能领域的商业参与者（如OpenAI、Anthropic）的投资仍在继续走同一条路。问题不仅在于“我们正在投资一个可能不会实现的理想未来”27但相反，正如Google AI研究员Franҫois Chollet所言，大型语言模型“吸走了所有的氧气。现在每个人都在做大型语言模型。”28 中国对LLM作为通向通用人工智能的途径的看法（或不） 对顶尖人工智能研究机构的顶尖科学家们发表声明的回顾揭示，他们对于大语言模型（LLMs）能否独立引领通用人工智能（GAI）的能力存在高度怀疑。这些批评与国际专家的言论相似，因为这两个群体都面临着相同的问题，而中国的AI专家们通常会与全球同行进行交流。29 以下几位中国科学家对将大型语言模型视为通用人工智能路径的观点。 Tang Jie(唐杰)是清华大学计算机科学教授，智谱创始人。30在北京市人工智能研究院（BAAI）的杰出人物，31并且是多个本土大型语言模型的开发者。32尽管唐在统计模型方面取得了成功，但他认为人类水平的AI需要让模型“融入世界。”33尽管他相信规模法则（规模法则）34“仍然有很长的路要走，”这本身并不能保证GAI（全球人工智能倡议）的实现。35一条更有成效的途径将从生物学中获得启示。据他所说： GAI或基于大模型的人工智能不一定需要与人类大脑认知机制相同，但分析人类大脑的工作机制或许能更好地启发GAI的实现。36 Zhang Yaqin（张亚勤，又名张亚琴）联合创办了微软亚洲研究院，是百度前任董事长，清华大学智能产业研究院创始院长，以及BAAI顾问。张亚勤指出了大型语言模型（LLMs）的三个问题，包括其计算效率低下、无法“真正理解物理世界”，以及所谓的“边界问题”（边界问题），即分词化问题。37张（Zhang）认为（with Goertzel），“我们需要探索如何将大型生成式概率模型与现有的‘第一原理’[物理世界的] 或真实模型和知识图谱相结合。”38 Huang Tiejun(黄铁军)是百度人工智能研究院（BAAI）的创始人和前任主任，同时也是北京大学（PKU）人工智能研究院（人工智能研究院）的副教务长。黄铁军提出了通往通用人工智能（GAI）的三大途径：基于大数据和大规模计算的信息模型、\"通过强化学习训练的具身模型\"以及脑模拟——后一项是百度人工智能研究院（BAAI）重点关注的领域。39黄同意LLM规模法则将继续发挥作用，但补充道：“不仅要收集静态数据，还需要获取和处理实时多感官信息。”40在他看来，GAI依赖于将统计模型与类脑人工智能及具身化相结合，即： LLMs代表“基于大数据的静态涌现”（是基于大数据的静态涌现）灵感来自大脑的智能则基于复杂的动态。具身智能的不同之处在于它通过与环境的交互产生新能力。41 徐波( 徐波 ), 中国科学院大学人工智能学院院长（ University of Chinese Academy of Sciences (UCAS) ( 中国科学院大学人工智能学院 )）以及中国科学院（CA