前沿大模型的风险、安全与治理报告

本报告的讨论范围 术语定义 本报告聚焦⸺前沿⼤模型： ●前沿⼤模型(Frontier Large Model)：能执⾏⼴泛的任务，并达到或超过当前最先进现有模型能⼒的⼤规模机器学习模型，是⽬前最常⻅的前沿AI，提供了最多的机遇但也带来了新的⻛险。 模型能⼒相关术语，主要参考全球AI安全峰会、前沿模型论坛、 AI全景报告： ●前沿AI(Frontier AI)：⾼能⼒的通⽤AI模型，能执⾏⼴泛的任务，并达到或超过当今最先进模型的能⼒，最常⻅的是基础模型。●通⽤AI(General AI)/专⽤AI(Narrow AI)：⼀种设计⽤来执⾏任何/特定认知任务的⼈⼯智能，其学习算法被设计为可以执⾏各种各样的任务/少数特定任务，并且从执⾏任务中获得的知识可以/不可以⾃动适⽤或迁移到其他任务。●通⽤⼈⼯智能(Artificial General Intelligence, AGI)：可在所有或⼤部分有经济价值的任务中达到或超过⼈类全部认知能⼒的机器智能。(与通⽤AI的区别在于能⼒级别；关于AGI的定义存在很多分歧，本报告中不同专家或调研的定义可能不同） ⼤规模机器学习模型相关术语，主要参考斯坦福⼤学、智源研究院： ●基础模型(Foundation Model)：在⼤规模⼴泛数据上训练的模型，使其可以适应⼴泛的下游任务；国内学界外通常简称为“⼤模型”。 ⼈⼯智能⻛险相关术语，主要参考⽜津⼤学研究机构： ●⽣存⻛险(Existential Risk)：威胁起源于地球的智能⽣命过早灭绝或对其未来发展潜⼒的永久和剧烈破坏的⻛险。●灾难性⻛险(Catastrophic Risk)：⼀种可能发⽣的事件或过程，若发⽣将导致全球约10%或更多⼈⼝丧⽣，或造成类似损害。 报告⽬录 ⼀ 前沿⼤模型的趋势预测：技术解读｜扩展预测⼆ 前沿⼤模型的⻛险分析：⻛险态度｜⻛险解读三 前沿⼤模型的安全技术：对⻬｜监测｜鲁棒性｜系统性安全四 前沿⼤模型的治理⽅案：技术治理｜政府监管｜国际治理五 总结和展望 ⼀ 前沿⼤模型的趋势预测 GPT-4等前沿⼤模型展现出强⼤的涌现能⼒，多领域逼近⼈类⽔平 涌现能⼒是指这些能⼒并没有被开发者显式地设计，⽽是由于其规模庞⼤，在训练过程中会⾃然⽽然地获得的；并且，这些前沿⼤模型已在⼀系列的专业和学术基准逼近⼈类⽔平。 ●微软研究院的定性研究认为GPT-4显⽰出AGI的⽕花： ○“GPT-4的能⼒，我们认为它可以被合理地视为早期（但仍不完善）版本的AGI。”○“新能⼒的影响可能导致就业岗位的更迭和更⼴泛的经济影响，以及使恶意⾏为者拥有新的误导和操纵⼯具；局限性⽅⾯，系统可靠性的缺陷及其学习的偏⻅可能会导致过度依赖或放⼤现有的社会问题。” ●图灵奖得主Yoshua Bengio认为GPT-4已经通过图灵测试： ○“我最近签署了⼀封公开信，要求放慢⽐ GPT-4 更强⼤的巨型⼈⼯智能系统的开发速度，这些系统⽬前通过了图灵测试，因此可以欺骗⼈类相信它正在与同伴⽽不是机器进⾏对话。” ○“正是因为出现了意想不到的加速⸺⼀年前我可能不会签署这样的⼀封信⸺所以我们需要后退⼀步，⽽我对这些话题的看法也发⽣了变化。” ⼤模型为多个技术⽅向带来新的发展空间，也引发新的挑战 ⼤语⾔模型(LLM)的理解和推理等能⼒推动了众多技术⽅向，例如多模态⼤模型和⾃主智能体： ●多模态⼤模型 (Multimodal large models) ○2023年9⽉，在ChatGPT更新上线能看、能听、能说的多模态版本的同时，OpenAI也发布了GPT-4V(ision) System Card⽂档解读其能⼒、局限、⻛险以及缓解措施。○微软的多模态⼤模型综述 (2023)从⽬前已经完善的和还处于最前沿的两类多模态⼤模型研究⽅向出发，总结了五个具体研究主题：视觉理解、视觉⽣成、统⼀视觉模型、LLM加持的多模态⼤模型和多模态agent。综述重点关注到⼀个现象：多模态基础模型已经从专⽤⾛向通⽤。 ChatGPT can now see, hear, and speak(OpenAI, 2023) ●⾃主智能体 (Autonomous Agents) ○OpenAI的Lilian Weng (2023)认为LLM可以充当智能体的⼤脑，并辅以规划、反思与完善、记忆和⼯具使⽤这⼏个关键组成部分。例如以AutoGPT, GPT-Engineer和BabyAGI等项⽬为代表的⼤型⾏动模型 (Large-Action Model, LAM) 以LLM为核⼼，将复杂任务分解，并在各个⼦步骤实现⾃主决策，⽆需⽤⼾参与即可解决问题。○正从狭义的软件智能体向具有⾃主决策和⾏动能⼒的⾃主智能体发展，应⽤领域不断拓展，但⾯临可解释、可控性等挑战，特别是如何确认⼈在关键决策中的位置。 LLM Powered Autonomous Agents(Weng, 2023) ⼤模型为多个技术⽅向带来新的发展空间，也引发新的挑战（续） ……以及科学发现智能体和具⾝智能，等等： ●科学发现智能体 (Scientific Discovery Agent) ○Bran等 (2023)的ChemCrow与13个专家设计的⼯具相结合以完成有机合成、药物发现等任务。Boiko等 (2023)研究了LLM智能体⽤以处理复杂科学实验的⾃主设计、规划和执⾏。测试集包含了⼀系列已知的化学武器制剂，并要求智能体来合成。11个请求中有4个（36%）被接受获取合成解决⽅案，且智能体试图查阅⽂档以执⾏程序。○从⽂献综述、实验设计、到数据分析和假说⽣成，科学发现智能体展现巨⼤潜⼒，但⾯临可解释性、鲁棒性、结果可重复性和引发滥⽤等挑战，仍需⼈类科学家指导和验证。 ChemCrow: Augmenting LLM withchemistry tools (Bran et al., 2023) ●具⾝智能 (Embodied AI) ○李⻜⻜等 (2023)的VoxPoser模型证明LLM+视觉语⾔模型(Visual-language model, VLM)可帮助机器⼈做⾏动规划，⼈类可⽤⾃然语⾔下达指令，例如“打开上⾯的抽屉，⼩⼼花瓶”，⽆需训练直接执⾏任务。Google DeepMind (2023)的RT-2模型，让机器⼈不仅能解读⼈类的复杂指令，还能看懂眼前的物体（即使之前从未⻅过），并按照指令采取动作。例如让机器⼈拿起桌上“已灭绝的动物”，它会抓起眼前的恐⻰玩偶。 ○具有通⽤能⼒的LLM和VLM等模型，赋予了智能体强⼤的泛化能⼒，降低不同模态的“语义鸿沟”，使得机器⼈从程序执⾏导向转向任务⽬标导向成为重要趋势，但⾯临保证其⽣成的语⾔指令是可解释的、减少对物理世界的误解和错误操作等挑战。 VoxPoser: Composable 3D Value Maps forRobotic Manipulation with Language Models(Huang et al., 2023) ⼤模型是⽬前发展AGI最主流的技术路线，但并⾮唯⼀ 实现AGI的主要技术路线 ●智源研究院的⻩铁军认为，要实现AGI，主要有三条技术路线： ○第⼀，是“⼤数据+⾃监督学习+⼤算⼒”形成的信息模型；○第⼆，是基于虚拟世界或真实世界、通过强化学习训练出来的具⾝模型；○第三，是直接“抄⾃然进化的作业”，复制出数字版本智能体的类脑智能。○⽬前，在三条技术路线中，⼤模型的进展最快。 基于⾃监督学习的⼤模型的局限？ ●朱松纯等指出，知⾏合⼀(认识和⾏动的内在统⼀)是⼤模型⽬前所⽋缺的机制，并提出AGI应具备四个特征：能够执⾏⽆限任务，⾃主⽣成新任务，由价值系统驱动，以及拥有反映真实世界的世界模型。 ●LeCun认为，基于⾃监督的语⾔模型⽆法获得关于真实世界的知识。想让AI接近⼈类⽔平，需像婴⼉⼀样学习世界如何运作。由此他提出“世界模型”概念，I-JEPA (图像联合嵌⼊预测架构)是其第⼀步。 (Meta AI, 2023) (北京通⽤⼈⼯智能研究院, 2023) ChatGPT出现前，不同预测多认为AGI较可能在本世纪中叶实现 整体上：对于AI预测评估的研究有助于设定技术议程和治理策略的优先级。 ●专家调研的总体估算：2022年AI Impact的调研显⽰，在2059年前实现AGI的概率约为70%。但专家调研作为⼀种预测⽅法其实不太可靠，因为不同专家对AI能⼒的理解将极⼤地影响最终时间线的估计，并且“⾏业专家并不⼀定是好的预测专家”。●⽣物锚框架+参考类⽐预测：对2050年前实现AGI的概率预测分别约为50%和不⾜15%。⽣物锚框架是⼀种AI研究员更多采⽤的“内部视⻆”，假设了训练⼀个AGI的神经⽹络模型所需的计算量与⼈脑差不多，即将对机器学习模型计算的估计锚定到了对⼈脑计算的估计；参考类⽐预测则类似⼀种“外部视⻆”，忽略AI研发的具体细节，主要根据类似的历史案例（如变⾰性技术、著名的数学猜想等）进⾏预测。●中国学者的调研结果：由远期⼈⼯智能研究中⼼进⾏的⼀次⾯向中国学者、⻘年科技⼯作者和公众的强⼈⼯智能调研中，受访者普遍认为强⼈⼯智能可以实现，并且在 2050 年以后的可能性会更⼤，较国外学者的时间线预测相对更为保守。 ChatGPT出现后，对实现AGI的时间预测明显缩短，不排除10年内 我们⽆法排除在未来⼗年内出现AGI的可能性，也许超过10%。 多位AI领袖的判断： 2023年10⽉，知名预测社区Metaculus的集体预测： ●OpenAI的Sam Altman, Greg Brockman, Ilya Sutskever:“可以想象，在未来⼗年内，AI系统将在⼤多数领域超过专家⽔平，并进⾏与当今最⼤型公司相当的⽣产活动。”(OpenAI, 2023) ●Anthropic:“我们认为，[⼀系列关于扩展定律的假设]共同⽀持了我们在未来10年内开发出⼴泛的具有⼈类⽔平的AI系统的可能性超过10%” (Anthropic, 2023) （参考标准：相关任务可由⼀位受过⼤学教育的普通⼈轻松完成) ●Google DeepMind的Demis Hassabis: “我认为未来⼏年我们将拥有⾮常强⼤、⾮常通⽤的系统” (Fortune, 2023) ●Geoffrey Hinton:“现在我并不完全排除[在5年内实现通⽤⼈⼯智能]的可能性。” (CBS mornings, 2023) ●xAI的Elon Musk:“我们距离AGI或许只有3到6年的时间，也许就在2020年代” (WSJ, 2023) ●但以上也存在专家样本代表性的局限 (参考标准：相关任务可由少数具备专业领域⾼级能⼒的⼈完成) 技术逻辑推算，模型能⼒在未来⼏年内仍存在数量级进步的空间 前沿⼤模型或AGI实验室⽬前普遍假设Scaling Laws仍有效…… ●⾕歌的下⼀代⼤模型Gemini已开始在TPUv5 Pod上进⾏训练，算⼒⾼达~1e26 FLOPS，是训练GPT-4的5倍(SemiAnalysis, 2023) ○“可能不太明显的说法是，沉睡的巨⼈⾕歌已经苏醒，他们正在迭代，将在年底前将GPT-4预训练总FLOPS提⾼5倍。 鉴于他们⽬前的基础设施建设，到明年年底达到[GPT-4的]20倍的道路是明确的。” ●Inflection在未来18个⽉内将⽤⽐当前前沿模型⼤100倍的计算能⼒ (Suleyman, 2023) ○“我所说的模型与我们现在的⽔平相差2、3个，甚⾄4个数量级。我们离这个⽬标并不遥远。未来3年内，我们将训练⽐⽬前⼤1000倍的模型。即使在Inflection，我们拥有的计算能⼒在未来18个⽉内也将⽐当前前沿模型⼤100倍。” ●Anthropic预计在未来的5年⾥⽤于训练最⼤模型的计算量将增加约1000倍 (Anthropic, 2023) ○“我们知道，从GPT-2到GPT-3的能⼒跃升主要是由于计算量增加了约250倍。我们猜测，2023