AI安全白皮书

©2023云安全联盟大中华区版权所有1 ©2023云安全联盟大中华区版权所有2@2023云安全联盟大中华区－保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：（a）本文只可作个人、信息获取、非商业用途；（b）本文内容不得篡改；（c）本文不得转发；（d）该商标、版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 ©2023云安全联盟大中华区版权所有3 ©2023云安全联盟大中华区版权所有4致谢《AI安全白皮书》由CSA大中华区AI安全工作组专家撰写，感谢以下专家的贡献：工作组联席组长:主要贡献者：审校组:研究协调员：黄磊王维强黄磊王维强何伊圣卞超轶李岩陶瑞岩刘广坤郑国祥张淼陈洋郭建领唐科伟崔崟段阳阳冯明邹旭郝伟黄国忠林兵邢海韬杨浩淼杨喜龙张亮孟昌华黄磊王维强黄连金刘广坤何伊圣张亮李岩黄家栋 ©2023云安全联盟大中华区版权所有5贡献单位:(以上排名不分先后)关于研究工作组的更多介绍，请在CSA大中华区官网（https://c-csa.cn/research/）上查看。在此感谢以上专家及单位。如此文有不妥当之处，敬请读者联系CSAGCR秘书处给与雅正!联系邮箱research@c-csa.cn；国际云安全联盟CSA公众号中国电信股份有限公司研究院蚂蚁集团安全实验室北京百度网讯科技有限公司杭州安恒信息技术股份有限公司北京启明星辰信息安全技术有限公司华为技术有限公司联通（广东）产业互联网有限公司北京沃东天骏信息技术有限公司上海安几科技有限公司优刻得科技股份有限公司上海物盾信息科技有限公司杭州世平信息科技有限公司深圳市魔方安全科技有限公司电子科技大学浙江孚临科技有限公司 ©2023云安全联盟大中华区版权所有6序言1在21世纪这个科技飞速发展的时代，人工智能技术的进步使得数字经济成为全球经济发展的主导力量。因此，各国和企业纷纷加快了对数字经济的战略规划和布局，以抢占发展制高点。然而，在数字化转型深入进行之际，人工智能安全面临着不断加剧的挑战和风险。数据以多种形态在各个主体、不同场景下流动和应用，人工智能安全问题涉及到保密性、完整性、可用性和合规性等方面问题，同时还包括算法、模型、应用和系统的安全。传统信息安全风险管理方法已无法适应数字化业务高速发展和变化，并不能实现对人工智能全生命周期过程中风险管控。在这一背景下，《AI安全白皮书》应运而生。本白皮书审视了AI在安全领域应用与挑战，并包括了AI赋能安全技术、伴生安全问题、监管与技术生态以及热门问题等内容，为行业提供了一个全局视角，有助于推动AI安全领域的进一步发展和规范。通过对AI安全风险进行深入分析和研究，我们坚信企业和组织可以采取更为有效的管理措施，确保数据安全与隐私保护。面对数字经济时代，企业和组织必须高度重视人工智能安全风险管理，并积极应对各类人工智能安全挑战。借助《AI安全白皮书》的指导和建议，我们期待广大从业者能够更好地把握人工智能安全管理要点，确保数字经济发展可持续性。同时，我们也期待更多企业和组织能够参与到人工智能安全事业中来，共同为构建安全、健康的数字经济环境贡献力量。李雨航YaleLiCSA大中华区主席兼研究院院长 ©2023云安全联盟大中华区版权所有7序言2《AI安全白皮书》是一份对当前人工智能（AI）安全领域的有指导意义的研究和分析。本文探讨了AI在安全领域的多种应用，包括漏洞挖掘、安全防御和威胁检测，同时也着重分析了AI本身的安全问题，如内生安全和衍生安全问题。此外，它还涉及了AI安全的监管生态、技术生态以及行业发展情况，包括法律法规、行业标准、国际共识等方面。这份白皮书对于任何关注网络安全和人工智能发展的人来说都是有价值的资源。无论是业内专业人士、学者、政策制定者，还是对AI技术和网络安全感兴趣的学生和爱好者，都能从中获得独到的见解和知识。它不仅提供了对AI安全技术的概述，还探讨了相关的伦理法律和政策问题，为理解和应对AI带来的安全挑战提供了理论基础。此外，白皮书还特别关注了AI安全的最新热点问题，如大模型安全、对抗样本攻击、数据投毒攻击、供应链攻击、数据泄露攻击和模型窃取攻击等，这些内容对于理解当前和未来AI安全的趋势至关重要。它还对AI伦理和AI辅助安全进行了讨论，为读者提供了关于如何负责任地发展和应用AI技术的重要思考。总的来说，《AI安全白皮书》是一份可读而且及时的研究成果，对于希望深入了解AI在安全领域应用的人来说，是不可多得的资料。它不仅涵盖了AI安全领域的广泛主题，还提供了关于如何面对未来挑战和机遇的有益见解。这份白皮书是理解AI安全领域现状和未来发展的重要参考资料。黄连金KenHuangCSA大中华区研究院副院长 ©2023云安全联盟大中华区版权所有8目录1AI赋能安全.................................................................................................101.1AI赋能安全............................................................................................101.2AI伴生安全..........................................................................................262AI安全的生态..............................................................................................362.1AI安全的监管生态................................................................................362.2AI安全的技术生态................................................................................573AI安全的热门问题.......................................................................................903.1大模型安全...........................................................................................903.2对抗样本攻击.......................................................................................923.3数据投毒攻击.......................................................................................943.4供应链攻击...........................................................................................963.5数据泄露攻击.......................................................................................993.6模型窃取攻击.....................................................................................1023.7AI伦理/对齐........................................................................................1043.8AI辅助安全.........................................................................................1084AI安全的行业发展.....................................................................................1214.1监管发展............................................................................................1214.2技术发展............................................................................................1265总结与展望...............................................................................................135 ©2023云安全联盟大中华区版权所有9背景人工智能（AI）是一项新兴技术，代表了现代科技的发展和进步。AI的运用范围广泛，具有广阔的扩展潜力，对各行各业领域产生了深远的影响。在数字化转型的浪潮下，AI将成为企业成功的关键因素之一，并随着企业数字化转型的深入实践，人工智能（AI）帮助企业提升生产效率和生产力，改善客户体验和服务质量，帮助企业发现新的商机和提供更高级的安全保障。人工智能（AI）是一项关键的革命性技术，它正在改变我们的世界。随着AI技术的快速发展，与数字化企业的全面实现，AI安全问题也日益凸显。AI安全应确保AI系统在执行任务时能够遵守法律、伦理规范和道德和技术的合规。在解决AI安全问题的过程中，应实现AI安全的透明度、责任化和可持续化的安全治理是企业发展的关键所在。CSA于2022年相继推出《医疗保健中的人工智能》、《ChatGPT的安全影响》等多个安全白皮书，并进行更加全面的总结形成《AI安全白皮书》，在AI安全领域通过一系列的建议和最佳实践，帮助企业遵循AI安全原则和标准，帮助企业解决AI安全的热门问题，减少潜在的风险和漏洞。以应对数字化经济时代，在确保数据可用性的前提下，创造价值，改变世界。CSA《AI安全白皮书》也是CSA新兴技术认证CSAAI人工智能安全认证的官方学习用书，希望通过《AI安全白皮书》的学习，对于企业全面地建立数字安全体系提供重要保障与支持。 ©2023云安全联盟大中华区版权所有101AI赋能安全1.1AI赋能安全1.1.1AI赋能漏洞挖掘1.1.1.1漏洞挖掘的发展历史人工智能技术的发展和应用不断推动着网络安全攻防自动化和智能化的水平，目前已经在恶意代码检测、恶意流量分析、漏洞挖掘、僵尸网络检测、网络灰产检测等各领域有了广泛的应用。基于人工智能的漏洞挖掘方法通过训练大批量的漏洞代码样本，学习漏洞代码的语义、结构、指令序列等特征,从而能够自动化的定位到可疑代码。越来越多的安全公司都在增大对AI研究的投入，并将AI安全作为业务发展的重心，信息安全漏洞挖掘技术的发展历史可大致分为以下四个阶段。第一阶段，人工代码安全审计，60年代就开始的一种漏洞挖掘方式，由专门的安全审计人员在开发过程中或发布前后检测和评估代码。但代码安全审计是一项复杂而繁琐的任务，需要具备专业的技术和知识，投入大量的时间和人力，在安全服务领域算是工作量最大的一种服务方式，并且存在检测不全面的情况。第二阶段，静态分析工具辅助，70年代开始出现了一种用于分析应用程序源代码和二进制文件