汇合风险：人工智能与全球安全的未来

汇聚风险 人工智能与全球安全未来 关于FAS 美国科学家联合会（FAS）是一个独立、无党派的智库，汇集了科学界和政策界的成员，共同合作以减轻全球性灾难威胁。该组织成立于1945年11月，最初名为“原子科学家联合会”，由参与曼哈顿计划并制造出首批原子弹的科学家创立。美国科学家联合会致力于这样一种信念：科学家、工程师以及其他受过技术训练的人们，有伦理上的责任，来确保他们智慧与劳动的技术成果应用于造福人类。1946年，该组织更名为“美国科学家联合会”，以拓宽其预防全球灾难的宗旨。 自成立以来，FAS一直作为国家安全相关议题的重要信息来源，提供严谨、基于证据的分析。具体而言，FAS致力于减少核武器的扩散和数量，预防核与放射性恐怖主义，提升核能安全与安保标准，揭示政府保密实践，并防止生物和化学武器的使用。 fas@fas.orgfas.org.FAS位于华盛顿特区西北区第18街1150号1000室，邮编20036。，或通过 © 美国科学家联合会，2026年。版权所有。 封面：控制数据处理 IBM 设备 东肯塔基州橡树岭 1967年3月 通过能源部 FAS全球风险计划 美国科学家联合会（FAS）的全球风险计划专注于应对和预防可能永久摧毁或使人类丧失能力的事件和威胁。我们团队关注的关键领域包括核战争、下一次全球大流行病、生物攻击，甚至与巨大的近地天体相撞。我们的政策专家、科学家和研究人员利用预测、研究和分析等工具，以及在关键全球风险领域的专业知识，为人类发展进程中快速发展和复杂的时代制定现代政策解决方案。人类必须主动制定和执行明智的政策来应对这些危险，包括通过全球合作。欲了解更多信息，请访问我们的网站：www.fas.org/issue/global-risk。 FAS can be reached at 1150 18th St. NW, Suite 1000, Washington, DC, 20036, fas@fas.org, or through fas.org. 资金 本报告及相关会议得以举办，得益于生命未来研究所（FLI）的慷慨支持。报告中的观点为作者所持，不一定反映资助方或参与者的立场。 致谢 该项目由美国科学家联合会全球风险副院长林永比博士领导。 谨向参与此项目的核心FAS团队致以特别感谢，成员包括：1) 人工智能与新兴技术政策副主任奥利弗·斯蒂芬森博士；2) 全球风险项目助理埃利奥特·冈内尔先生；3) 高级通讯助理安吉拉·凯莱特女士；4) 通讯经理凯特·麦卡锡女士；5) 高级通讯经理凯特·科恩女士；6) 通讯副主任乔纳森·威尔逊先生；以及7) 政府事务总监吉尔·鲁伊斯先生。我们亦向作为本报告及其他项目活动的资深顾问与我们合作的大卫·风险与安全实验室创始人兼主任安德鲁·雷迪博士致以巨大谢意。 此外，没有FAS所有支持这项重要工作的同仁，这个项目就不可能完成，尤其要感谢核信息项目团队（汉斯、马特、埃莉安娜和麦肯齐），以及人工智能与新兴技术政策团队（克拉拉、卡罗琳和大卫）。我们也要感谢在整个项目期间，FAS高级领导层给予的支持，包括首席执行官丹尼尔·科里亚（Daniel Correa）、首席战略官杰迪达·伊斯勒（Jedidah Isler，博士）和首席运营官安妮特·盖尔玛（Annette Germana）。 此外，我们非常感谢与FLI的合作关系，并特别感谢FLI执行董事Anthony Aguirre博士、Hamza Chaudhry先生以及FLI美国通讯经理Chase Hardin先生在此项工作中给予我们的合作支持。 同时，也衷心感谢FAS全球风险组合的前总监Jon Wolfsthal先生，感谢他在该项目任职期间所提供的领导。 最后，这项工作的完成离不开超过300位参加我们工作坊并帮助我们指导、塑造这项工作的时间和视角。那些同意公开认可他们在这项工作中所起作用的人员，已列入本报告末尾的“贡献者”部分（附录B）。 内容 关于FASI FAS的全球风险计划II 资助II 致谢 执行摘要 1 如何使用本报告——五个问题、坚实基础与五大支柱 2 第一章 人工智能是什么技术？ 当今人工智能系统的表现 4 评估人工智能系统 6 对人工智能发展轨迹的三种观点 7 为什么各方观点存在分歧 10政策制定者必须在不确定性下行动 11 第二章 全球风险与人工智能 13 威胁、脆弱性与后果——风险工作模型人工智能作为威胁来源：能力、意图与控制理论中的风险从系统到行为者 第三章。威胁 - 意图与能力 演员与意图：谁在制造与AI相关的威胁？20 AI作为威胁行为者23 威胁的驱动因素：异构能力24 重新定义AI时代的“威胁”26 第四章。脆弱性——脆弱的建筑结构 控制、可见性与约束 28 技术漏洞 29 机构脆弱性���������������������������������������������������32当脆弱性产生威胁���������������������������������������������35 第五章。后果——不断缩小的容错空间 危害分类学 37 战略（不）稳定性 38 最坏情况场景 42 危害分布 46 政策制定者病理学 46 从威胁到脆弱性再到后果 47 第六章 政策建议 48 基础。提升政府能力、协调和翻译基础设施 48 支柱一：建设测试、评估、验证和确认（TEVV）能力以及针对危险人工智能能力的预警系统 50 第二支柱。管理技术层：计算、模型、权重、访问安全措施和危险功能 52 第三支柱。在社会技术系统中部署治理，而不仅仅是模型。 53 第四支柱。将人工智能系统的攻防平衡向防御端倾斜 54 第五支柱。为预防失败时构建社会和制度韧性 -55 摘要。将五大支柱和基础映射到威胁、漏洞和后果 57 基础。政府能力、协调和翻译基础设施 57支柱一：测量、监测和早期预警 58第二支柱：技术层治理 59第三支柱。社会技术部署治理 60第四支柱：防御优势 61 第五支柱。韧性 62 结论 63 这意味着对政策制定者而言意味着什么������������������������������������������������63风险降低最容易处理的地方在哪里������������������������������������������64 附录A. 项目摘要 66 起源与目的 66召集与参与流程 66recurring themes and related materials 67 附录B. 贡献者 68 执行摘要 人工智能（AI）已不再是一个独立的科技政策议题。它正成为嵌入全球安全核心领域的一种通用能力。随着AI系统进入生物研究、网络作战、核稳定、军事决策及其他安全领域，它们正在改变全球风险的产生、传播和相互作用方式。 本报告为政策制定者、国家安全从业者、技术专家、资助者和社会组织领导者如何思考人工智能与全球风险的交汇提供了基于证据的基础。该报告建立在美国科学家联合会（FAS）和生命未来研究所（FLI）举办的一系列会议之上，这些会议聚焦于人工智能、生物安全、网络安全、核风险以及军事整合等议题。在这些对话中，一个共同的主题浮现出来：人工智能风险并非局限于任何单一领域或威胁行为者。它源于日益强大的工具与其运行其中的制度和基础设施之间的相互作用。 与其预测人工智能的单一未来，本报告旨在帮助决策者应对多条发展路径中的不确定性。它建议采取能够降低不确定性，并在多种可能未来中保持稳健的政策。 本报告聚焦于通用型“前沿”人工智能系统：这些系统功能强大，能够支持多种类型的工作，包括分析、编码、规划、科学推理、工具使用、合成媒体生成以及自主工作流程。截至2026年5月，领先的前沿系统可以合成和查询大量文本、编写和调试软件、分析技术和科学材料、生成逼真的合成媒体，并帮助用户规划多步骤的科学或操作任务，尽管其性能仍然参差不齐且依赖于具体情境。这些能力具有军民两用性。一个帮助研究人员分析生物数据集的系统可能会降低有害实验的门槛。一个帮助防御者识别网络漏洞的系统也可能帮助攻击者更快地利用这些漏洞。 本报告首先探讨了塑造当今政策话语的三种关于人工智能未来轨迹的宏观观点。“海市蜃楼”视角将当今的人工智能话语视为过度炒作，并关注过早部署、欺诈、资本错配和政策制定者分心等风险。“常规技术”观点将人工智能视为一种强大但最终可控的通用技术，需要严肃的规划、治理和制度适应。在此观点下，主要风险来自分布不均、部署脆弱、自动化偏见以及能力向更广泛的参与者扩展。最后，“自主权力”视角认为当前系统的快速发展可能指向越来越自主或超人类系统。从这一视角来看，主要风险包括权力集中以及对远比人类强大的系统的控制力丧失，可能带来潜在的生存性后果。 本报告主要通过“常规技术”和“自主权”的视角来考察人工智能对全球风险的影响。尽管“海市蜃楼”的观点仍然重要，因为它提醒人们警惕特定人工智能应用的炒作，但本报告所关注的全球风险问题，在将人工智能视为以下两种情况时最为明显：1）一种强大的军民两用技术，通过有缺陷的机构进行扩散；或2）一条通往更自主、更强大的系统的途径，这些系统可能更难进行监控、约束或控制。政策制定者需要在不确定的条件下做出决策。在地缘政治紧张时期，人工智能的能力正在迅速发展，而在采取行动前等待确凿的证据本身也可能带来风险。 本报告在分析中采用了一个熟悉的国家安全框架：风险 = 威胁 × 易受性 × 后果（TVC）。威胁指的是产生造成损害途径的行为者、意图和能力。易受性指的是技术系统、制度、基础设施、人机团队或治理安排中的弱点，这些弱点使威胁得以显现。后果指的是当威胁利用易受性时所造成的损害，包括人员伤亡、升级、系统性中断、信任丧失或长期制度性损害。 人工智能可能同时影响这三个方面。人工智能可能增加恶意行为者和非国家行为者的能力。它也为不透明的系统引入了复杂性，从而增加了出现漏洞、让问题悄悄溜过的风险。它还可能压缩响应时间，并使解决失败更加困难，从而加剧了后果。在自主权力场景中，威胁与脆弱性之间的界限可能会变得模糊：对强大人工智能系统监管中的漏洞可能导致失去控制，进而导致人工智能系统本身构成威胁。 如何使用本报告——五个问题、坚实基础与五大支柱 当政策制定者应对不确定的未来和快速发展的能力时，我们建议将这些指导性问题作为减少不确定性并揭示假设的一种方式。 • 首先，该提案将谁或什么视为相关行为者：人类、人-人工智能系统，还是人工智能系统本身？• 其次，该提案依据了哪些论点、证据和历史参考类别（无论是隐含的还是明确的）？• 第三，该提案特别关注哪种风险或机遇？• 第四，哪些证据会挑战或支持这些风险或机遇的存在？• 第五，这些证据是否可能在相关风险或利益固化之前及时出现，以便决策者调整方向，并且证据收集是否可以加速？ 政策制定者还应制定政策，构建分层防御体系，以降低威胁、脆弱性和后果。我们将政策选项围绕一个基础和五个支柱来构建： • 基础设施。政府能力、协调机制和翻译基础设施。相关机构需要技术专长、工具获取渠道、与人工智能开发者的可信沟通渠道、跨领域协调能力，以及在不完全依赖私营部门保证的情况下评估人工智能能力相关声明的的能力。 • 柱石一：强化测试、评估、验证和确认（TEVV）。这需要更完善的评估、结构效度基准、部署后监测，以及衡量人工智能（AI）发展轨迹变化的指标，包括AI赋能的研发自动化。 •第二支柱：强大的技术层治理。这包括模型安全、访问控制、透明度义务、事件报告，以及减轻产生不成比例风险的缓解能力。 ••第三支柱机构和高后果系统中的审慎人工智能部署。高风险应用，例如军事决策支持、网络作战、生物设计工作流程以及与核相关的系统，需要风险等级审批、独立审查、审计日志、人因测试及其他干预措施，以确保有意义的人类控制第四支柱调整新型能力的攻防平衡。这包括延缓和限制广泛获取对攻击者有利的能力，同时加强人工智能在网络防御和其他领域的应用