人工智能全球治理与可持续发展：挑战与应对

杨庆峰 等著 上海市邯郸路220号复旦大学智库楼邮编：200433电话：86-21-65641067邮箱：cgaig@fudan.edu.cn网址：https://cgaig.fudan.edu.cn 复旦智库报告 超级智能时代的风险转变与伦理应对 杨庆峰 等著 2026 年 7 月 关键观点.........................................................................................01摘要............................................................................................02导言............................................................................................03一、AI伦理的演化：路径、新特征与转向.........................................07二、超级智能时代的风险特征..........................................................16三、智能契约伦理的理论向度..........................................................21四、智能契约伦理的实践路径..........................................................25五、应对球状风险的伦理学家AI.......................................................30六、结语.........................................................................................34参考文献.........................................................................................36附录1.世界范围内代表性AI伦理法规、原则（2020-2026）...............40附录2.全球智能契约伦理的工程化表征.............................................47附件3.报告术语对照表.....................................................................51顾问介绍.........................................................................................55作者介绍（拼音）...........................................................................57 关键观点 时落地。a但是超级智能带来的是存在方式的改变，一种新的生存结构正在形成。本报告借助斯洛特戴克的球体理论，深刻指出 AI风险已演变为存在论层面的结构性问题，呈现为复杂的球状风险。为应对上述挑战，AI伦理构建必须实现从“产品”思维向“实践”思维的范式转向。新的 AI 伦理框架包含两大关键维度：一是技术指向的 AI 伦理，聚焦与技术应用场景、能力边界及全生命周期等痛点有关的伦理问题；二是人文指向的 AI 伦理，强调与人文解释、技术批判与人机关系重塑有关的伦理问题。面对超级智能可能引发的权力失衡，报告创造性地构建了“智能契约伦理”框架。该框架主张以契约伦理重构人机关系，为人类主体性寻找数字立足点。在工程化实践上，采用动态契约机制实时监测伦理摩擦，并在冲突发生时将其“挂起”，通过引入四值逻辑交由人类商谈决定，确保人类的最终决策权。目前，契约伦理从单向“对齐”向双向“共契”的演进趋势。面向未来人机共生社会，需要设立以智能契约为内核的“伦理学家 AI”作为契约构建者的实践范式。 01当前，AI 伦理表现出如下特征：追求自由规律的学术化气质日趋减弱，法律化、制度化和工程化加强趋势明显。 在人们的印象中，伦理学以揭示自由规律且构建原则规范为主要任务，但是实现这一任务的过程中却暴漏出伦理学的先天孱弱。相比法律和制度，伦理原则缺乏刚性约束力。因此以构建原则规范的 AI 伦理也表现出伦理学先天孱弱特性。随着 AI 技术本身迭代加快以及超级智能时代的临近，AI 伦理逐渐出现了 3 个变化：制度化、法律化和工程化来克服这种孱弱特征。 02AI 伦理可以被划分为技术指向的 AI 伦理和人文指向的 AI 伦理，其构建必须从“产品”思维转向“实践”思维。 03技术指向的 AI 伦理前者包括与技术场景、技术难题、技术能力和全生命周期等有关的伦理问题。 04人文指向的 AI 伦理包括与解释学、人文批判和人机关系等有关的伦理问题。 超级智能逐渐从技术想象转变为现实问题，AI 伦理法律化、制度化和工程化并不能应付超级智能的挑战。相比一般人工智能，超级智能表现出一种明显的差异：人工智能开始作为新的主体重构生产关系和生产力；超级能动性成为一个关键概念影响着人类和人工智能的关系构建。以人工智能风险领域为例，相关的风险理论建立在对人工智能体风险层次的划分之上，比如欧盟的 AI 法案将人工智能风险划分为四类：最低风险、有限风险、高风险和不可接受的风险。但是高风险和不可接受风险的 AI 系统技术标准并未按 05超级智能风险呈现为与生存论相关的球状风险。 06超级智能时代人机之间的关系伦理应当摆脱人与机器的二元对立。人与机器人订立伦理契约是可行之策。采用动态契约监测伦理摩擦，冲突挂起后的四值逻辑交由人类商谈决定。 07在未来的人机共生社会，以积极契约为理论基础的智能契约是可选择的路径，“伦理学家 AI”是智能契约的实践尝试。 如今，警示人工智能安全风险的各种实践活动已经非常多了，如政府倡议a、研究机构公开信b、科学家声明c、全球呼吁d和各类研究报告。最为有名的研究报告是 2 个，一是《全球风险报告 2026》（The GlobalRisks Report 2026）准确地勾勒人工智能从前沿技术向系统力量的转变，人工智能风险是所有风险中跨期上升幅度最大的领域，其风险体现出系统性特征，e这种分析强调了使用技术实践；二是约书亚 . 本吉奥（Yoshua Bengio）《2026 国 际 AI 安 全 报告 》(International AI Safety Report 2026)认为 AGI 新型风险可以划分为恶意使用、故障性和系统性等三类，这份报告强调的是技术本身。f这些报告将技术风险 - 风险治理作为基础框架。本报告指出，目前 AI 风险理解中存在三个假设前提：一是 AI 连续论（AI as Continuity）前提，即将人工智能看做是连续发展的过程，经历了狭义、通用再到超级的发展阶段，AI 伦理也是基于连续论框架构建的g；二是层次论（AI as level）前 提，即将 AI 系统划分为不同层次类型，如DeepMind 的划分堪称经典。三是工具论 (AIas instrument) 前提，即将人工智能看作是赋能或者增强效率的工具。 “我们的道德越是改良，人就越变得堕落”——歌德The more our morals are refined, the more depraved men become--Johann Woifgang von Goethe, 1776 导言 人工智能连续论是一种将狭义人工智能、通用智能和超级智能视为一个连续发展过程的观点。它认为人工智能发展的本质特征包含智能类型的连续演变、智能水平的连续提升、通用智能的连续实现以及超级智能作为终极阶段四个方面。连续论将人工智能发展看作从工具到潜在主体的连续过程，是一种将复杂发展史简化为线性进程的图景。这一观点能够将当前人工智能发展给予总体概括，但是却无法洞察到超级智能的带来的断裂本性。 人工智能层次论将人工智能看作是一个层次构成对象，如 DeepMind 的层次结构是典型的代表。传统的技术物品是无智能的工具，但智能对象开始拥有了智能：L0 为 非人工智能物品、L1 中人工智能作为工具、L2 中人工智能作为咨询者、L3 中人工智能作为合作者、L4 中人工智能作为专家、L5中人工智能作为大师。a与之相对应，AI 风险也被划分为层次结构，如低风险、中风险、高风险和不可接受风险。 一种存在结构的变化：人类被抛于智能系统中，与智能系统形成特定的共在关系。 随着人工智能超工具特性的显现，人工智能被看作是存在论事件。存在论风险开始表现出来，赵汀阳（2022）认为，如果一个事件可被认定为存在论事件，就意味着这个事件蕴含着某种新问题的起点，构成了人类生活和思想的一个新本源，相当于为人类存在方式建立了一个创建点b；王天恩指出，无论类人智能自主进化还是人机进化融合，都具有非同寻常的存在论后果。c 人工智能工具论在现实生活中颇为流行，但是这种流行观念特征是短期主义的，存在一定的危害。很容易使得人们忽略人工智能发展到强大阶段表现出的不同于一般工具的风险，也就是存在论风险。 然而对与超级智能有关的风险及其应对，涉及问题更为复杂和棘手，它需要一种新型的美德伦理形态，我们把这一适合未来的、超级智能的伦理形态称之为智能契约伦理。超级智能已经从科幻素材逐渐成为科学世界的现象，为科学家所忧虑。d超级智能不再是一种描述超过人类的所有能力的描述概念，而变成了现象学式的概念：具有第一人称体验和自我觉知，懂得如何保存自己和按照自主性做出行动。 在上述基础上，本报告将风险划分为经验性风险与存在论风险。前者与狭义人工智能、通用人工智能有关，如信息茧房、错误信息、AI 幻觉、AI 滥用和 AI 欺骗等。经验论风险总是和作为经验技术、前沿技术的人工智能密切相关。后者则与超级智能有关是存在论风险，如存在方式、生活方式改变以及存在升级。上文提到的系统性风险是当人工智能作为一种系统力量时才表现出来的风险。这些都是与具体技术的使用无关，而是 是指向借助智能工具实现美好生活的契约类型，人与智能科技、人与人之间不再停留在自然状态中。从理论角度看，反思传统契约理论基础上，扬弃与区块链技术相关的智能合约概念，最终为应对超级智能与人类的关系确立基本的伦理框架。从实践角度看，契约伦理希望为联合国的《数字契约》落地奠定理论可能性。 我们去年的《超级智能：少数派报告》对技术应对和哲学应对做了充分讨论，但是对于伦理应对只是勾勒出一个轮廓。今年的报告将继续完成这一任务，提出更为具体的伦理应对举措。a 超级智能将人类置身于一种复杂的生存境遇。以往面对自然环境资源匮乏，各种灾难、意外，生存压力极大，全世界的国家逐渐形成联盟，共同形成一种基本秩序，这是消极契约的特征。这种契约是不得不建立的，如果境遇发生变化，一国变得强大，就会退出契约。本报告是建立在积极契约基础上的，我们把这一观念称之为智能契约。智能契约 此外，智能契约伦理并非我们一厢情愿设计出来的改良的产物，歌德曾经指出，“道德越改良，人们越堕落。”AI 伦理并非人类自身的道德原则，它还要被看作是智能体调节的一个产物。 一、AI 伦理的演化：路径、新特征与转向 （一） AI 伦理的路径 本报告中，AI 伦理（Artificial IntelligenceEthics）是指应对 AI 安全和风险中所遵循的道德原则、所依据的价值判断。本部分尝试将已有的针对 AI 伦理归为两类，即技术立场和人文立场。 公共利益。在金融保险领域，AI 常用于信用评分、贷款审批、保险定价和风险控制。需要坚持公平与反歧视、可解释