执行摘要执行摘要前沿人工智能安全已成为全球和中国重点关注的议题2023年10月18日，习近平主席在第三届“一带一路”国际合作高峰论坛开幕式主旨演讲中宣布中方将提出《全球人工智能治理倡议》1，重申各国应在人工智能治理中加强信息交流和技术合作，共同做好⻛险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。2023年10月26日，联合国秘书⻓古特雷斯宣布，联合国正式组建一个新的“人工智能高级别咨询机构”2，以探讨这项技术带来的⻛险和机遇，并为国际社会加强治理提供支持。2023年11月1日，中国、美国在内的28个国家和欧盟，共同签署了《布莱切利人工智能安全宣言》3，一致认为前沿人工智能技术可能会引发巨大⻛险，尤其是在网络安全、生物技术和加剧传播虚假信息等方面。此前的2023年4月28日，中共中央政治局会议明确提出，要重视通用人工智能发展，营造创新生态，重视防范⻛险4。2023年7月10日，国家网信办等七部⻔联合公布《生成式人工智能服务管理暂行办法》5。随着前沿人工智能的快速发展，按照《关于加强科技伦理治理的意⻅》6、《新一代人工智能治理原则》7、《新一代人工智能伦理规范》8等治理文件，社会应积极落实对更高级人工智能的潜在⻛险研判和防范，确保人工智能安全可靠可控，推动经济、社会及生态可持续发展。8国家新一代人工智能治理专业委员会,“新一代人工智能伦理规范”,2021-09-25,https://www.safea.gov.cn/kjbgz//t_.html.7国家新一代人工智能治理专业委员会,“新一代人工智能治理原则⸺发展负责任的人工智能”,2019-06-17,https://www.most.gov.cn/kjbgz//t_.html.6中共中央办公厅、国务院办公厅,“关于加强科技伦理治理的意⻅”,2022-03-20,https://www.gov.cn/zhengce/-//content_.htm.5国家网信办等七部⻔,“生成式人工智能服务管理暂行办法”,2023-07-10,https://www.gov.cn/zhengce/zhengceku//content_.htm.4新华社,“中共中央政治局召开会议分析研究当前经济形势和经济工作中共中央总书记习近平主持会议”,2023-04-28,https://www.gov.cn/yaowen/-//content_.htm3UKGovernment,“CountriesagreetosafeandresponsibledevelopmentoffrontierAIinlandmarkBletchleyDeclaration”,2023-11-01,https://www.gov.uk/government/news/countries-agree-to-safe-and-responsible-development-of-frontier-ai-in-landmark-bletchley-declaration.2联合国,“秘书⻓组建高级别咨询机构，全球39名专家共商人工智能治理”,2023-10-26,https://news.un.org/zh/story///.1中央网信办,“全球人工智能治理倡议”,2023-10-18,http://www.cac.gov.cn/-//c_.htm. I 前沿人工智能安全的最佳实践推动前沿人工智能安全的工作刻不容缓GPT-等前沿大模型展现出强大的涌现能力，在多领域逼近人类水平。同时，大模型为多个技术方向带来新的发展空间，包括多模态、自主智能体、科学发现等能力。模型能力在未来几年内仍存在数量级进步的空间。Inflection在未来18个月内将使用比当前前沿模型GPT-大100倍的计算量。Anthropic预计在未来的5年里用于训练最大模型的计算量将增加约1000倍。由于大模型的涌现能力9，这些更先进人工智能系统所带来的机遇和⻛险具有巨大不确定性。短期内，社会需要积极预防人工智能所带来的网络安全、生物安全和虚假信息的滥用⻛险。与此同时，人工智能正获得越来越强的社交操纵、欺骗和战略规划等潜在危险能力，未来先进的自主人工智能系统将带来前所未有的控制挑战。面对科技伦理和公共安全的重大⻛险，社会应该具备底线思维，凡事从最坏处准备，努力争取最好的结果。全球人工智能安全峰会中讨论了应对潜在⻛险的人工智能安全级别(ASL)框架，参考了处理危险生物材料的生物安全级别(BSL)标准10，基本思想是要求与模型潜在⻛险相适应的安全、安保和操作标准，更高的ASL级别需要越来越严格的安全证明。预计未来半年内，我国多个前沿大模型将达到或突破GPT-性能，达到ASL-能力级别11。确保相适应的安全标准，行业自律和政府监管缺一不可。本报告力求促进前沿人工智能安全的中国方案和实践落地1.本报告的讨论范围本报告聚焦的“前沿人工智能(FrontierAI)”，是指高能力的通用AI模型，能执行广泛的任务，并达到或超过当今最先进模型的能力，最常⻅的是基础模型。前沿人工智能提供了最多的机遇但也带来了新的⻛险。本报告提供了前沿人工智能机构潜在的最佳实践清单，以及面向中国机构的研发实践案例与政策制定指南。这些是经过广泛研究后收集的，考虑到这项技术的新兴性质，需要定期更新。安全过程并未按重要性顺序列出，而是按主题进行总结，以便读者能够理解、解释和比较前沿机构的安全政策，及其在国内的适用性。本报告参考了各个前沿人工智能机构公布的最佳实践、英国政府《前沿人工智能安全的新兴流程》、国内外相关政策法规等多份参考资料（详⻅附录A）。11Anthropic,“Anthropic'sResponsibleScalingPolicy”,2023-09-19,https://www-files.anthropic.com/production/files/responsible-scaling-policy-..pdf.10Wikipedia,“BiosafetyLevel”,2023-11-20,https://en.wikipedia.org/wiki/Biosafety_level.9JasonWeietal.,“EmergentAbilitiesofLargeLanguageModels”,2022-08-31,https://openreview.net/forum?id=yzkSUzdwD. II 执行摘要本报告参考了全球人工智能安全峰会的讨论范围设定12，白皮书13得到图灵奖得主YoshuaBengio等专家的建议。2.本报告的适用对象本报告是为中国领先的人工智能技术研发机构和政策研究机构编写的，以帮助他们更好地了解前沿人工智能安全的实践和政策。我们鼓励这些机构参考国际同行经验，结合国内实际情况，在实现负责任人工智能的过程中，提升从原则到实践、技术与治理相结合的能力。虽然可能有一些实践与多种类型的人工智能机构相关，但负责任扩展策略等小部分实践是专⻔为前沿人工智能，而不是为能力以及⻛险较低的人工智能设计的。我们欢迎前沿人工智能机构，根据其独特的模型特性、开发和应用环境以及潜在⻛险，自主制定符合自身情况的负责任人工智能实践。当前许多人工智能研发机构的运营⻛险较低，预计不会考虑采取如此一系列的实践措施。这符合我们对人工智能⻛险采取相称性治理和促进创新方法的理念。但前沿人工智能研发机构在促进前沿人工智能安全开发和部署方面发挥的重要作用，也将使包括非前沿机构在内的更广泛的人工智能生态系统受益。因此，随着最佳实践的不断出现，我们希望确保中小型机构也能参与人工智能安全的对话。13UKGovernmentDepartmentforScience,Innovation&Technology,“CapabilitiesandrisksfromfrontierAI:AdiscussionpaperontheneedforfurtherresearchintoAIrisk”,2023-11-01,https://assets.publishing.service.gov.uk/media/abaecdaab/frontier-ai-capabilities-risks-report.pdf.12UKGovernment,“AISafetySummit:introduction”,2023-10-31,https://www.gov.uk/government/publications/ai-safety-summit-introduction/ai-safety-summit-introduction-html. III 前沿人工智能安全的最佳实践3.本报告的使用建议本报告概述了当今人工智能安全领域的前瞻想法、新兴流程和相关实践。其目的是作为前沿人工智能机构安全政策制定的参考和指南。我们欢迎对报告内容进行全面的讨论与批评，也鼓励中国机构分享实践案例，协助我们不断优化和更新这些最佳实践，并在此基础上形成可以向国际推广的中国实践！前沿人工智能安全是一个持续演进的领域，因此最佳实践也将不断发展，这一发展将依赖于政府与更广泛的人工智能生态系统之间的对话和相关研究进展。一些有价值的实践措施本报告尚未纳入，而已纳入的一些实践措施最终也可能被证明在技术上不可行。因此，本报告并不是关于前沿人工智能安全的最终方案。我们期待随着人工智能安全研究的发展，人工智能领域进一步推出新的最佳实践。4.本报告的最佳实践实现前沿人工智能的有效⻛险管理需要一系列⻛险识别和缓解措施，本报告列出了前沿人工智能机构关于人工智能安全政策的9项最佳实践，其中包括许多领先人工智能机构在2023年7月承诺的6项措施14：1)模型评测和红队测试(Modelevaluationsandredteaming)可以帮助评估人工智能模型带来的⻛险，并为有关训练、保护和部署模型的更好决策提供信息。随着前沿人工智能模型的开发和部署，新的能力和⻛险可能会出现，因此在整个人工智能生命周期中对多种⻛险来源和潜在负面影响进行模型评测至关重要。由受信任的第三方评测进行的外部评测也可以帮助验证研发机构对其前沿人工智能系统安全性的声明。2)优先研究人工智能带来的⻛险(PrioritisingresearchonrisksposedbyAI)将有助于识别和解决前沿人工智能带来的新兴⻛险。前沿人工智能机构有特殊的责任和能力来进行人工智能安全研究，广泛分享他们的研究成果，并投资于开发工具来应对这些⻛险。与外部研究人员、独立研究机构和第三方数据所有者的合作也将对评估系统的潜在下游社会影响至关重要。3)含保护模型权重在内的安全控制(Securitycontrolsincludingsecuringmodelweights)是人工智能系统安全的关键支撑。如果没有安全地开发和部署，人工智能模型就有可能在重要的安全措施得到应用之前就面临被盗或泄露秘密或敏感数据的⻛险。为避免危及安全或敏感数据，考虑人工智能系统以及独立模型的网络安全，并在14TheWhiteHouse,“FACTSHEET:Biden- HarrisAdministrationSecuresVoluntaryCommitmentsfromLeadingArtificialIntelligenceCompaniestoManagetheRisksPosedbyAI”,2023-07-21,https://www.whitehouse.gov/briefing-room/statements-releases////fact-sheet-biden-harris-admini