开放的人工智能系统实际上是封闭的

https: / / doi. org / 10.1038 / s41586 - 024 - 08141 - 1收到 ： 2023 年 12 月 5 日DavidGrayWidder1✉， 梅雷迪思 · 惠特克2,3& SarahMyersWest4 这篇论文探讨了“开放”的人工智能（AI）。关于“开放”AI的主张往往缺乏精确性，经常模糊了大规模AI开发和部署过程中实质性的行业集中度审查，并且常常错误地将来自自由开源软件领域的“开放”概念应用到AI系统上。目前，强大的利益相关者正在利用“开放”AI对创新和民主有利，或者对安全有害的论点来塑造政策。当政策被塑造时，定义至关重要。为了澄清这一辩论，我们分析了“开放”AI主张的基础，并提供了对AI本质及其“开放性”能提供的和不能提供的内容的物质性分析：包括模型、数据、劳动力、框架和计算能力。我们强调了“开放”AI的三大优势，即透明性、可重用性和可扩展性，并观察到最大程度的“开放”AI可以在现有模型之上允许一些形式的监督和实验。然而，我们发现，“开放性”本身并不能改变AI领域中的权力集中。正如许多传统的开源软件项目被各种方式的大公司所利用一样，我们展示了围绕“开放”AI的言论经常被用来加剧而不是减少AI产业中的权力集中。 在线发布 ： 2024 年 11 月 27 日 检查更新 this perspective 探讨“开放”的人工智能（AI）。我们发现，开源软件的概念以不合适的方式应用到了AI系统中。当行业参与者一方面声称开放AI对科学创新和民主有益，另一方面又认为其对安全构成威胁并试图利用这些说法影响政策时，我们致力于通过对AI本质及其“开放性”能提供的能力和限制进行物质分析，来为关于“开放性”的讨论奠定基础。 技术能够在开放环境中蓬勃发展是有价值的目标。然而，正如许多传统的开源项目被各种方式的大科技公司所利用一样，我们的研究发现表明，关于开放性的言辞经常被用来加剧AI领域权力的集中，而非缓解这一现象。 开放AI的 rhetoric 目前正在引导美国和欧盟等其他司法管辖区的政治和研究关注，并塑造相关政策。6–9.The ‘开放源代码AI’辩论主要由AI公司构建，他们利用关于开放性的主张来服务于特定的监管和市场目的。根据各自的商业模式，公司通过开放性的 rhetoric 来隐含支持AI应豁免于监管的观点。10或受到严格的许可要求或出口管制11.同时，近期研究人员的工作虽然有助于增加这些观点的复杂性（即使尚未重新塑造公众辩论），但也通过评估模型开放性的风险和利益，增加了细微差别并夯实了论点。12,13并创建或多或少开放模型的分类 ， 以提供概念上的清晰度14,15. 为了实现这一目标，我们回顾了人工智能系统的核心组件，评估哪些部分可以开放以及哪些部分不可以，并且审查围绕“开放人工智能”概念形成的相关生态系统。我们发现，开放的人工智能系统可以提供透明度、可重用性和扩展性：它们可以在不同程度上被审查、重用和在此基础上进一步构建。但我们也发现，关于开放性的主张往往缺乏精确性，通常仅关注人工智能系统从开发到部署生命周期中的某一阶段，而忽视了大规模人工智能开发和部署中显著的行业集中度，从而扭曲了人们从自由开源软件中获得的对开放性的常识理解。孤立地讨论开放性而未考虑人工智能背后的经济激励很少涉及背景、权力和使用等问题——这些系统将如何被使用、由谁使用、对谁使用——尽管这些问题深刻影响着围绕开放性和人工智能展开的辩论所关注的政策结果。 开放式 AI 和定义套利 人工智能本身的定义存在争议且不够明确，这进一步模糊了在人工智能背景下“开放”意味着什么的问题。在其超过70年的历史中，AI这一术语被应用于各种各样的方法，更多地作为一种营销手段和理想追求，而非技术上的专有术语。4,16一些人工智能系统是确定性的 ， 例如基于规则的系统 ， 在给定一组输入的情况下 ， 它们遵循一组指令来 这些问题在我们目前由企业参与者主导的人工智能景观中尤为重要1–5。创造条件 ， 在这些条件下 ， 独立替代行业主导的 人工智能初创企业在当前商业环境中的竞争力，并且有助于形成一个市场格局，其中大多数盈利途径主要通过大型科技公司实现——这些公司的基础设施对于人工智能的发展至关重要，而它们对市场的准入则对于任何投资回报都是必不可少的。39. 开放性可能使修改已开发的AI模型的能力增强，但这些较大的环境因素影响着此类实验成果是否能够进入市场。40. 产生明确定义的输出。其他则具有概率性，使得与大量数据进行比较并从数据点之间的联系中得出推断变得可能。目前，该术语通常描述大型且资源密集型的机器学习系统，所谓的“生成性”AI在公众讨论中最为引人注目。由于大型和生成性AI系统最明显地改变了传统开源的定义，并且它们是当前政策和讨论的重点，因此我们专注于这些系统。 明确定义的必要性引发了相当大的辩论17， 并最终提出了开源倡议的提案18在关于人工智能的更普及化的讨论中，借鉴的是几十年前形成的自由软件理念，旨在抵抗企业控制。19传统对自由开源软件的理解甚至在不适用的情况下也被投射到开放AI系统上。19,20从开源软件开发的角度来看，开源承诺使软件开发更加民主化，并且开放代码的多双眼睛可以确保其完整性和安全性。21， 或者开源水平的竞争环境 ， 让创新者取得胜利22,23， 开源软件在不同程度上做了很多这样的事情18. 在实践中，AI开放程度的不同梯度提供了极大的差异性优势，尽管它们都被混淆性地归类为同一术语“开放性”之下。41. 一些被描述为开放系统的系统（如Meta的LLaMA-3［参考42］）所提供的功能仅限于提供一个API或允许下载模型，而该模型的使用受到明显非开放的限制。42,43。在这些情况下 ， 这是 “开放清洗 ” 系统 ， 更好地理解为封闭44–46其他开源AI的最大变体，如EleutherAI的Pythia系列，走得更远，提供了访问源代码、基础训练数据和完整文档的机会，并且可以在与Open Source Initiative长期定义的开源标准相一致的条款下，将AI模型广泛重用。 鉴于这些模糊的定义，除非直接引用声明，否则我们在本文其余部分避免使用“开源”这一术语，而是采用笼统的“开放”一词。 在免费和开源软件的历史上 ， 营利性科技公司 他们利用资源捕获生态系统，或通过开源项目以多种方式确立主导地位。以下是一些过去公司使用的例子。 什么是(和不是) 开放的 AI ？ AI系统需要独特的开发过程，并且依赖于集中在少数几家大型科技公司手中的专门且昂贵的资源。5,47–49. 鉴于生产大规模AI系统所需资源，拥有计算能力、数据集和研究团队的商业AI公司已逐渐主导了AI研究与开发领域。因此，这些公司不仅塑造了构建内容的方向，还决定了AI系统可以构建的条件，包括哪些系统组件（权重和数据集）可供他人访问和重用。尽管新的技术方法使得构建更精简且更高效的用例变得更加容易，这些用例是基于更大基数模型进行微调的。50,他们通过这种方式并未改变市场的这些基本特征。最终，培训所需的成本和资源，以及大型公司在市场准入方面持有的瓶颈，意味着开放AI并不直接等同于AI市场竞争条件的变化，尽管在其更极端的表现形式下，它提供了三个关键的优势： 1.透明度。许多被标记为“开放”的AI系统会发布系统的权重、文档或数据。开源AI的最大范例提供了对底层训练数据的访问，并提供了与特定模型相关的权重信息。这两者对于某些形式的验证和审计都是有用的。51,52并且两者还有助于事后对系统行为进行关键性的洞察，这对于问责制至关重要。由于当前AI系统的概率性质，关于AI系统透明性的断言，无论它们多么开放，都应当谨慎评估，尤其是在与传统软件进行比较时：了解权重、代码和文档并不能告诉我们模型在特定上下文中的确切表现如何，也不能解释某个特定结果发生的原因，或预测所谓的“ emergent”属性。53–55. 开放AI在关键方面与开源软件不同。与开源软件不同，识别AI系统中的危害和缺陷不仅需要开放的权重和可访问的应用程序编程接口（API）或开源许可的AI模型（如Meta的LLaMA模型系列），还需要更多的条件。虽然提供训练数据和严格的公开文档对审计依赖于问责制的关键AI系统有积极影响，但预测基于概率的系统行为的能力存在固有的局限性。32. 2.可重用性。一些开放的 AI 模型和数据已获得许可 ， 并可供第三方重用56开放许可的数据和模型权重，并且经常使用传统的开源许可来使这些资源可用，这已被认为是开源AI将对市场竞争产生内在的积极影响。7.然而，进入市场仍然是一个受限的资源。即使是有充足资源的参与者，尽管他们拥有资本、人才和数据来构建大规模模型，也不总是能找到明显的途径来部署这些模型或确保投资回报，这归因于市场准入方面存在的重大瓶颈，目前这些瓶颈主要由大型公司掌控。 同样地，尽管开放性可以在边缘促进竞争——通过高效微调使其他人能够在基础AI模型之上进行构建——这并不会扰乱整个市场的特性。此外，微调也不能消除在基础模型开发阶段做出的关键决策所产生的影响。33. 使AI领域竞争环境不平等的因素包括网络效应、数据集的获取途径及其规模推理所需的计算能力的成本、缺乏可行的商业模式以及目前过高的利率。34–38。这些因素共同强烈限制了 通过云服务产品或大规模平台整合来实现。我们在“开放”型AI公司Mistral AI与微软签订合同的例子中可以看到这一点，Mistral AI允许微软将其Mistral大型AI模型授权给Azure云业务的云客户。这值得注意，因为Mistral是少数几家最获得融资支持并开发开放模型的AI初创公司之一。57并因其有效使用计算而推销自己58. 但即使具备这些优势，它仍选择与OpenAI和Inflection AI一同通过微软的云平台进入市场。59. 像Hugging Face和Stability AI这样的公司向客户和公众提供开源AI模型。它们的商业模式不是通过许可自有模型来盈利，而是基于在开源模型基础上收取额外功能和服务费用，例如API访问、基于自定义数据训练模型、安全和技术支持作为付费服务。68他们还为客户提供细调服务，针对特定任务或领域优化和校准已训练模型的性能。非营利组织EleutherAI也提供了大规模开源AI模型。 3.可扩展性。扩展性使我们能够在现成模型的基础上进行构建，并根据不同的目的对其进行微调。这是由投资于开源AI的企业参与者特别推崇的一个关键特性。60这在很大程度上是因为“扩展”现成模型的工作相当于那些可能希望重新利用精细调整模型的人的免费产品开发。扩展开源AI模型意味着这些人在工作中不需要从头开始。他们可以使用一个已经耗时且昂贵训练的大模型，并对其参数进行调整，通常是在进一步、往往更专门的数据上进行训练，以适应特定领域或任务的表现。在开发“基础模型”的过程中，已经做出了重要的编辑决策。61–63. 此外，还包括用于训练它们的文档和代码库。EleutherAI 仅专注于促进大规模人工智能的研究。69， 根据非常宽松的 Apache 2.0 开源许可证许可其模型 ， 供 AI 研究人员使用56在那些从事开放式 AI的人中 ， EleutherAI 提供了可以说是最开放的 AI 系统。 少量的学术项目也在较小规模下开发出了大型开源AI模型。这些项目包括斯坦福大学的Alpaca模型，该模型因其能够在单台笔记本电脑上运行而广为人知——考虑到部署此类模型的计算密集型特性，这是一个显著的成就。70然而，即使基于这一极其计算高效模型的聊天机器人也变得过于昂贵——并且由于模型的“幻觉”而具有风险——无法继续运行，因此该团队已将其下线。71. 在数据 ， 计算和模型大小方面 ， AI 开发的当前模式采用了 “越大越好 ” 的方法33. 模型越大，训练和校准所需的资源就越密集，因此越难在大型科技公司之外的机构生产该模型。尽管我们知道目前公开可用的最大AI模型是LLaMA-3，并且它是在15万亿个令牌上训练