重新思考关于AI 的能源使用Daniel Castro | 2024 年 1 月 29 日关注数字技术使用的能源并不新鲜。在互联网繁荣的高峰期附近1990 年代 ， a福布斯 文章哀叹 ， “在某处美国 ， 每次一本书都会燃烧一块煤网上订购 ” 。1 文章的作者 ， 成为在随后几年关于能源的辩论中被广泛引用政策 ， 估计 “一半的电网将是在下一个时代为数字互联网经济提供动力十年 ” 。2 然而 ， 估计是错误的 ， 错误是它的事实和方法论。3 事后看来 ， 没有不再有任何争议 ， 如国际能源署(IEA) 估计 ， 当今的数据中心和数据输电网络 “每个占大约 1 - 1.5% 的全球用电量。 “4这个错误不是一个孤立的事件。许多头条新闻多年来出现的预测数字经济的能源脚印会失控。5 例如 ， 作为流媒体战争2019 年开始 - 苹果 ， 迪士尼 ， HBO 和其他宣布视频流媒体订阅服务 ， 与 Netflix 、亚马逊和YouTube - 多家媒体重复声称来自法国智囊团“观看 Netflix 30 分钟产生的排放是就像开车 4 英里一样。 "6 但同样 ， 估计是完全错误 (这更像是在 10 到 100 码之间行驶) ， 这是由于有缺陷的假设和转换错误的混合 ， 智囊团最终在一年后纠正。7随着最近对人工智能 (AI) 的兴趣激增 ， 人们再次提出了关于新兴能源使用的问题技术。在这种情况下 ， 批评家推测 AI 的快速采用数据创新中心1 再加上深度学习模型规模的增加将导致能源使用的大量增加 ， 具有潜在的破坏性环境影响。8 然而 ， 与过去的技术一样 ， 许多关于人工智能消耗能源的早期说法已被证明是夸大和误导。本报告概述了辩论 ，包括一些早期的失误以及它们是如何形成的政策对话 ， 并澄清人工智能能源的记录足迹以及未来几年可能会如何发展。它建议政策制定者通过以下方式解决对人工智能能源消耗的担忧采取以下步骤 ：..为 AI 模型制定能源透明度标准。寻求关于能源透明度的自愿承诺基础模型。..考虑 AI 法规对能源使用。使用 AI 使政府运营脱碳。关于 AI 的能量使用和碳排放的事实准确估算 AI 的能源使用和碳排放系统在其生命周期中具有挑战性 ， 因为这些计算取决于许多复杂的因素 ， 包括有关芯片的详细信息 ， 冷却使用的系统、数据中心设计、软件、工作负载和能源用于发电。这个问题不是 AI 独有的。作为一组能源研究人员在一篇文章中描述了这个问题Annual能源与环境回顾:为信息创建可靠的电力需求估计技术充满了困难。底层数据未知准确地说 ， 经验数据是有限的 ， 最有用的数据是通常是专有的 ， 而且技术变化如此之快 ， 甚至准确的数据很快就过时了。9然而 ， 一些研究试图量化当前和未来的人工智能系统的能源需求和碳排放。不幸的是 ， 一些最初的估计已经陷入了与过去早期研究相同的陷阱关于数字技术的能源使用 ， 并产生了误导估计。这些研究通常考虑 AI 所需的能量系统在其生命周期中分为两个阶段 ： 1) 训练 AI 模型 ； 以及 2) 使用AI 模型来响应特定的查询 - 这个过程称为 “推理 ” 。训练 AI 模型马萨诸塞州阿默斯特大学的研究人员估计2019 年几个 AI 模型的碳排放 ， 第一个主要模型之一同类研究。10 研究发现 BERT - 当时是Google 最先进的大型语言模型 （ LLM ） - 发出数据创新中心2 约 1, 438 磅二氧化碳 (CO2) 在 79 小时的使用 64 个高级图形处理单元 (GPU) 、芯片进行培训通常用于训练 AI 模型 ， 因为它们具有优越的并行性处理能力。从这个角度来看 ， 往返航班从纽约到旧金山可产生约 2, 000 磅的 CO2每位乘客的排放量。研究人员还估算了碳用于训练用于神经架构搜索 (NAS) 的 AI 模型的发射自动寻找一个或多个神经网络的技术给定任务的体系结构 - 计算最复杂的体系结构之一机器学习中的问题。具体来说 ， 他们评估了能量使用 NAS 来创建更好的英语 - 德语机器翻译模型。11 研究人员估计 ， 训练模型问题产生了 626, 155 磅的 CO2排放量 (大致相当于从东海岸到西海岸的 300 个往返航班) 。12毫不奇怪 ， 鉴于新闻业倾向于负面科技报道 ， 几乎所有流行媒体的头条新闻都集中在尽管它的用例狭窄 ， 但在后一种估计上。13 即使受到尊重科学新闻媒体 ， 如麻省理工学院技术评论这样的头条新闻作为 “训练一个单一的人工智能模型可以排放与五辆汽车一样多的碳lifetimes. "14 这些文章表明 ， 需要大量的能源训练这个特定的 AI 模型是正常的 ， 尽管这个估计很清楚指的是一个非典型的例子。这就像一个汽车新闻媒体发表一篇文章 ， 建议 “驾驶汽车排放的碳与一架飞机 “仅基于一项研究环境影响的研究飞行汽车的原型。此外 ， 原始的研究论文和随后的新闻文章经常指出 ， 虽然大型人工智能模型的性能优于现有的在语言翻译基准测试中 ， 改进只是边际。这意味着人工智能研究人员正在做琐碎的事情性能改进以牺牲大量的碳排放。事实上 ， 其他人工智能研究人员在一份报告中明确了这一点广泛阅读的论文 “关于随机鹦鹉的危险 ： 可以语言 ”模型太大 ？ ”15 他们认为这是 “环境种族主义 ”富裕的西方国家部署更大的 AI 模型 ， 因为这些 AI系统将对全球贫困社区产生负面影响南方。具体来说 ， 他们写道:例如 ， 问马尔代夫的居民是否公平或公正（ 到 2100 年可能会在水下 ） 或苏丹的 80 万人受严重洪水影响的培训和环境代价部署越来越大的英语 [语言模型] ， 当类似的大 -没有为 Dhivehi 或苏丹阿拉伯语生产比例模型 ？16考虑到这些指控 - 训练 AI 系统不仅对环境 ， 但也是一种公开的种族主义行为 - 这并不奇怪 ， 许多人政策制定者对人工智能的能源消耗提出了质疑。然而 ， 2019 年研究中的头条新闻估计是疯狂的数据创新中心3 不正确 - 就像许多先前关于能源足迹过大的说法一样数字技术。马萨诸塞州阿默斯特大学研究人员做出了几个错误的假设 ， 严重夸大了他们的估计使用的总能源和碳排放量。在对 2019 年研究的回应 ， 参与 NAS 模型的研究人员提供了能源使用和碳排放的详细摘要他们的工作 ， 指出为什么外部研究人员的估计是错误的。实际排放量比先前研究的估计值小 88 倍。17不幸的是 ， 大众媒体很少注意纠正记录或注意新的发现 ， 所以最初的印象住在。研究人员在随后的几年中发表了多项研究估算训练许多知名 AI 模型所需的能量作为他们的碳排放量。如表 1,虽然更大的模型通常需要比较小的能源使用更多的能源 ， 确切地说不同的 AI 模型之间的数字差异很大。例如 ，研究人员估计 ， 训练 GPT - 3 - 1750 亿个参数 AI流行的 ChatGPT 应用程序中使用的模型 - 创建 552 tCO2排放量 ， 但包括 OPT 在内的可比 AI 模型 (1750 亿Meta 创建的参数 AI 模型) 和 Gopher (一个 2800 亿参数Google 创建的 AI 模型 ） 的碳足迹明显较小。此外 ， 训练 AI 模型的效率不断提高。对于例如 ， 在 GPT - 3 之后的 18 个月 ， 谷歌生产了 GLaM ， LLM 为 1.2万亿参数。尽管 GLaM 比 GPT - 3 大将近 7 倍并且优于其他 AI 模型 ， GLaM 需要少 2.8 倍能量训练。18 最后 ， 用于为数据中心供电的能源组合开发人员训练 AI 模型会影响其碳排放。对于例如 ， BLOOM 的开发人员使用法国的数据中心核能 ， 减少了碳足迹。19尽管有了新的研究 ， 但批评人工智能的团体一再引用最初的不正确研究他们要求决策者减少对大规模计算资源的投资。例如 ， 美国公民自由联盟 （ ACLU ） 致信科学和2021 年 10 月的技术政策 (OSTP) 抱怨白宫计划中的国家人工智能研究的 “环境成本 ”资源 (NAIRR) ， 并认为 “NAIRR 应该专注于提供替代关注数据和计算的应用程序许多工业和研究实验室。 “20 同样 ， 人工智能中心和数字政策在 2022 年错误地声称 ： “支持 AI 的系统需要计算能力呈指数级上升。这种计算能力的增加需要大量的能源消耗 ， 产生巨大的碳足迹和颠覆数字化的绿色效应。 “21 在每种情况下 ，尽管有大量证据表明他们是误导和夸大。数据创新中心4 表 1 ： 训练各种 AI 模型的估计能源需求CO2排放量(公制Tons)# of芯片能源(MWh)Estimate来源模型BERT参数 (型号 x #)Hours79Strubell 等Al. ， 2019220.1 B V100x641.50.70.7*31.2Strubell 等Al. ， 201923GPT - 21.5 B TPUv3x327B A100x (n / a)168N / A1.7*Meta,202324Llama 274*Llama 2Llama 213B A100x (n / a)70B A100x (n / a)N / AN / A147*688*62.4Meta, 2023Meta, 2023291.4Thoppilan etal., 202225LaMDAGPT - 3OPT137B TPUv3x1024175B V100x10000175B A100x992176B A100x384280B TPUv3x40961,3853554511,287N / A2655275帕特森等al. ， 2021 年26张等人 ，202227N / ALuccioni etal., 202228布卢姆地鼠2,820*92043324.7380Rae 等人 ，2022291,151*TPUv4x6144540B1200326Chowdery etal., 202230PaLM3,436*271.4TPUv4x3072帕特森等al., 202231GLaMGPT - 41, 162B TPUv4x (n / a)1, 800B A100x25000N / A456N / A40沃克,2023322280N / A* 根据现有数据推断 ， 详见附录使用 AI 模型尽管政策制定者和媒体对能源成本的关注在训练人工智能模型的过程中 ， 多项研究得出的结论是 ， 大多数数据创新中心5 与 AI 系统相关的能源成本来自使用 AI 模型 - a称为 “推断 ” 的过程 (因为模型是推断结果基于给定的输入 ） 。例如 ， Amazon Web Services 估计AI 模型 90% 的成本来自推理。33 同样 ， a施耐德电气的研究估计 ， 80% 的人工智能工作量2023 年的数据中心是来自推理 ， 20% 是用于培训。34最后 ， Meta 研究人员的一项研究指出 ， 确切的分解训练与推理之间的差异在不同的用例中有所不同。对于 LLM ， 他们估计推断与 65% 的碳有关足迹 ， 但对于参数必须为的推荐模型根据新数据经常更新 ， 他们估计平均分裂在训练和推理之间。35多个因素影响推理过程中使用的能量 ，包括任务类型和 AI 模型。如表 2,能源推理的要求可能因任务而异。例如 ，使用 AI 模型对文本进行分类通常计算强度较低（ 因此使用更少的能量 ） 比使用 AI 生成图像。36 不同AI 模型也有不同的能源成本 ， 并且在特定模型中(例如 ， Llama 2 7B 与 Llama 2 70B) ， 更多的参数通常需要更多的能量来推断。表 2 ： 按任务划分的每 1, 000 个查询的平均能耗37任务kWh文本分类图像分类对象检测文本生成Summarization图像生成0.0020.0070.0380.0470.0492.907鉴于训练特定的 AI 模型会产生一次性成本 ， 而使用 AI 模型会随着时间的推移继续消耗能量 ， 这是有道理的用于 AI 的大部分能量最终