重新思考对 AI 能源使用的担忧

Daniel Castro | 2024年1月29日 关注数字技术使用的能源并不新鲜。在互联网繁荣的高峰期附近1990年代，a福布斯文章哀叹，“在某处美国，每次一本书都会燃烧一块煤网上订购”。1文章的作者，成为在随后几年关于能源的辩论中被广泛引用政策，估计“一半的电网将是在下一个时代为数字互联网经济提供动力十年”。2然而，估计是错误的，错误是它的事实和方法论。3事后看来，没有不再有任何争议，如国际能源署(IEA)估计，当今的数据中心和数据输电网络“每个占大约1 - 1.5%的全球用电量。“4 这个错误不是一个孤立的事件。许多头条新闻多年来出现的预测数字经济的能源脚印会失控。5例如，作为流媒体战争2019年开始-苹果，迪士尼，HBO和其他宣布视频流媒体订阅服务，与Netflix、亚马逊和YouTube -多家媒体重复声称来自法国智囊团“观看Netflix 30分钟产生的排放是就像开车4英里一样。"6但同样，估计是完全错误(这更像是在10到100码之间行驶)，这是由于有缺陷的假设和转换错误的混合，智囊团最终在一年后纠正。7 随着最近对人工智能(AI)的兴趣激增，人们再次提出了关于新兴能源使用的问题技术。在这种情况下，批评家推测AI的快速采用 再加上深度学习模型规模的增加将导致能源使用的大量增加，具有潜在的破坏性环境影响。8然而，与过去的技术一样，许多关于人工智能消耗能源的早期说法已被证明是夸大和误导。本报告概述了辩论，包括一些早期的失误以及它们是如何形成的政策对话，并澄清人工智能能源的记录足迹以及未来几年可能会如何发展。它建议政策制定者通过以下方式解决对人工智能能源消耗的担忧采取以下步骤： ..为AI模型制定能源透明度标准。寻求关于能源透明度的自愿承诺基础模型。..考虑AI法规对能源使用。使用AI使政府运营脱碳。 关于AI的能量使用和碳排放的事实 准确估算AI的能源使用和碳排放系统在其生命周期中具有挑战性，因为这些计算取决于许多复杂的因素，包括有关芯片的详细信息，冷却使用的系统、数据中心设计、软件、工作负载和能源用于发电。这个问题不是AI独有的。作为一组能源研究人员在一篇文章中描述了这个问题Annual能源与环境回顾: 为信息创建可靠的电力需求估计技术充满了困难。底层数据未知准确地说，经验数据是有限的，最有用的数据是通常是专有的，而且技术变化如此之快，甚至准确的数据很快就过时了。9 然而，一些研究试图量化当前和未来的人工智能系统的能源需求和碳排放。不幸的是，一些最初的估计已经陷入了与过去早期研究相同的陷阱关于数字技术的能源使用，并产生了误导估计。这些研究通常考虑AI所需的能量系统在其生命周期中分为两个阶段：1)训练AI模型；以及2)使用AI模型来响应特定的查询-这个过程称为“推理”。 训练AI模型 马萨诸塞州阿默斯特大学的研究人员估计2019年几个AI模型的碳排放，第一个主要模型之一同类研究。10研究发现BERT -当时是Google最先进的大型语言模型（LLM）-发出 约1, 438磅二氧化碳(CO2)在79小时的使用64个高级图形处理单元(GPU)、芯片进行培训通常用于训练AI模型，因为它们具有优越的并行性处理能力。从这个角度来看，往返航班从纽约到旧金山可产生约2, 000磅的CO2每位乘客的排放量。研究人员还估算了碳用于训练用于神经架构搜索(NAS)的AI模型的发射自动寻找一个或多个神经网络的技术给定任务的体系结构-计算最复杂的体系结构之一机器学习中的问题。具体来说，他们评估了能量使用NAS来创建更好的英语-德语机器翻译模型。11研究人员估计，训练模型问题产生了626, 155磅的CO2排放量(大致相当于从东海岸到西海岸的300个往返航班)。12 毫不奇怪，鉴于新闻业倾向于负面科技报道，几乎所有流行媒体的头条新闻都集中在尽管它的用例狭窄，但在后一种估计上。13即使受到尊重科学新闻媒体，如麻省理工学院技术评论这样的头条新闻作为“训练一个单一的人工智能模型可以排放与五辆汽车一样多的碳lifetimes. "14这些文章表明，需要大量的能源训练这个特定的AI模型是正常的，尽管这个估计很清楚指的是一个非典型的例子。这就像一个汽车新闻媒体发表一篇文章，建议“驾驶汽车排放的碳与一架飞机“仅基于一项研究环境影响的研究飞行汽车的原型。 此外，原始的研究论文和随后的新闻文章经常指出，虽然大型人工智能模型的性能优于现有的在语言翻译基准测试中，改进只是边际。这意味着人工智能研究人员正在做琐碎的事情性能改进以牺牲大量的碳排放。事实上，其他人工智能研究人员在一份报告中明确了这一点广泛阅读的论文“关于随机鹦鹉的危险：可以语言”模型太大？”15他们认为这是“环境种族主义”富裕的西方国家部署更大的AI模型，因为这些AI系统将对全球贫困社区产生负面影响南方。具体来说，他们写道: 例如，问马尔代夫的居民是否公平或公正（到2100年可能会在水下）或苏丹的80万人受严重洪水影响的培训和环境代价部署越来越大的英语[语言模型]，当类似的大-没有为Dhivehi或苏丹阿拉伯语生产比例模型？16 考虑到这些指控-训练AI系统不仅对环境，但也是一种公开的种族主义行为-这并不奇怪，许多人政策制定者对人工智能的能源消耗提出了质疑。然而，2019年研究中的头条新闻估计是疯狂的 不正确-就像许多先前关于能源足迹过大的说法一样数字技术。马萨诸塞州阿默斯特大学研究人员做出了几个错误的假设，严重夸大了他们的估计使用的总能源和碳排放量。在对2019年研究的回应，参与NAS模型的研究人员提供了能源使用和碳排放的详细摘要他们的工作，指出为什么外部研究人员的估计是错误的。实际排放量比先前研究的估计值小88倍。17不幸的是，大众媒体很少注意纠正记录或注意新的发现，所以最初的印象住在。 研究人员在随后的几年中发表了多项研究估算训练许多知名AI模型所需的能量作为他们的碳排放量。如表1,虽然更大的模型通常需要比较小的能源使用更多的能源，确切地说不同的AI模型之间的数字差异很大。例如，研究人员估计，训练GPT - 3 - 1750亿个参数AI流行的ChatGPT应用程序中使用的模型-创建552 tCO2排放量，但包括OPT在内的可比AI模型(1750亿Meta创建的参数AI模型)和Gopher (一个2800亿参数Google创建的AI模型）的碳足迹明显较小。此外，训练AI模型的效率不断提高。对于例如，在GPT - 3之后的18个月，谷歌生产了GLaM，LLM为1.2万亿参数。尽管GLaM比GPT - 3大将近7倍并且优于其他AI模型，GLaM需要少2.8倍能量训练。18最后，用于为数据中心供电的能源组合开发人员训练AI模型会影响其碳排放。对于例如，BLOOM的开发人员使用法国的数据中心核能，减少了碳足迹。19 尽管有了新的研究，但批评人工智能的团体一再引用最初的不正确研究他们要求决策者减少对大规模计算资源的投资。例如，美国公民自由联盟（ACLU）致信科学和2021年10月的技术政策(OSTP)抱怨白宫计划中的国家人工智能研究的“环境成本”资源(NAIRR)，并认为“NAIRR应该专注于提供替代关注数据和计算的应用程序许多工业和研究实验室。“20同样，人工智能中心和数字政策在2022年错误地声称：“支持AI的系统需要计算能力呈指数级上升。这种计算能力的增加需要大量的能源消耗，产生巨大的碳足迹和颠覆数字化的绿色效应。“21在每种情况下，尽管有大量证据表明他们是误导和夸大。 使用AI模型 尽管政策制定者和媒体对能源成本的关注在训练人工智能模型的过程中，多项研究得出的结论是，大多数 与AI系统相关的能源成本来自使用AI模型- a称为“推断”的过程(因为模型是推断结果基于给定的输入）。例如，Amazon Web Services估计AI模型90%的成本来自推理。33同样，a施耐德电气的研究估计，80%的人工智能工作量2023年的数据中心是来自推理，20%是用于培训。34最后，Meta研究人员的一项研究指出，确切的分解训练与推理之间的差异在不同的用例中有所不同。对于LLM，他们估计推断与65%的碳有关足迹，但对于参数必须为的推荐模型根据新数据经常更新，他们估计平均分裂在训练和推理之间。35 多个因素影响推理过程中使用的能量，包括任务类型和AI模型。如表2,能源推理的要求可能因任务而异。例如，使用AI模型对文本进行分类通常计算强度较低（因此使用更少的能量）比使用AI生成图像。36不同AI模型也有不同的能源成本，并且在特定模型中(例如，Llama 2 7B与Llama 2 70B)，更多的参数通常需要更多的能量来推断。 鉴于训练特定的AI模型会产生一次性成本，而使用AI模型会随着时间的推移继续消耗能量，这是有道理的用于AI的大部分能量最终将来自推理。它这也意味着运行AI模型的能源需求将有一个对人工智能系统的整体能源使用产生重大影响。虽然大多数批评人士将注意力集中在用于训练AI模型的能量上，有些人对推理过程中使用的能量表示担忧。38For例如，写在2023年10月版的杂志上焦耳,一研究人员估计，与LLM互动需要大约 10倍于进行典型的网络搜索查询的能量，以及从这一估计推断得出的结论是“最坏的情况下一篇：谷歌的AI可以消耗与一个国家一样多的电力例如爱尔兰（每年29.3 TWh）。”39 有很多理由怀疑这种“最坏情况”正在发生在2022年，谷歌的全球能源消耗总量整个公司是21.8 TWh。40对于最坏情况的预测诚然，谷歌仅对人工智能的能源使用就必须超过其当前全球能源使用总量。确实，该公司的能源消费随着时间的推移而增长，特别是来自其数据中心的消费，因为其业务增长。例如，Google的数据中心使用了约3 TWh2022年的电力比前一年多。41但是，虽然它的整体能量在2019年至2021年的三年中，使用量一直在增长，它用于机器学习的能量比例保持不变-占其总能耗的10%至15%-其中大约60%用于推理。42 用于以下目的的能量相对恒定比例的一种解释推理是在AI模型和硬件中看到的改进。事实上，作为显示在表3,性能和效率都倾向于提高时间。表格显示，在几年内，计算机的准确性视觉AI模型显著改进。此外，能源这些模型的推理需求通常随着新芯片的发布。正如最近一项关于能源的研究所指出的那样用于AI模型中的推理“，当SOTA [最先进的]模型是发布它通常有大量的FLOP [浮点运算]，并因此消耗大量的能源，但在几年有一个模型具有相似的精度，但数量要低得多FLOPS ”。43换句话说，最新的AI模型可能并不特别高效的设计，因为研究人员专注于性能改进，但随着时间的推移，研究人员将解决效率问题。 用于两个不同GPU的计算机视觉的网络44 什么AI能量预测错误 对AI未来能源需求的预测如此之高的原因之一是他们使用不准确或误导性的测量，如前所述。另一个原因是预测忽视了实际的经济和人工智能广泛商业化带来的技术现实。 人工智能的能源使用受到经济考虑的限制 许多对人工智能能源使用的高端估计是不切实际的，因为所涉及的成本。购买更多芯片，建立更多数据中心，以及为这些数据中心供电是昂贵的。例如，即使作者预测Google的AI每年可能消耗29.3 TWh承认，达到这个水平需要1000亿美元的投资芯片以及数据中心数十亿美元的运营成本和电力。45即使是大型科技公司也会发现支付不可持续对于如此大量的计算。企业是逐利的企业和计算成本，因此，他们不会提供服务的时间长，运营成本高于他们在收入。要么使用人工智能的能源成本会下降，要么如何公司部署人工智能将受到成本因素的限制。 随着时间的推移，AI的性能提升率将下降 人工智能模型在过去几年有了显著的改进。OpenAI的LLM模型GPT - 4于2023年3月发布，可以通过许多为人类设计的流行考试，如SAT、GRE、LSAT和AP各种科目的测试。46这些结果是一个实质性的比上一年发布的早期模型有所改进。而AI仍然不能像人类一样执行许多任务，例如抽象推理，现