人工智能应用系统内生安全蓝皮书（2024年）

(2024年) 版权声明 本蓝皮书版权属于中国通信学会内生安全专业技术委员会，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国通信学会内生安全专业技术委员会”。违反上述声明者，本学会将追究其相关法律责任。 专家组和撰写组名单 顾问（以姓氏笔划为序）： 鄂江兴 专家组： 组长：张帆 国家数字交换系统工程技术研究中心教授 副组长： 黄瑞阳国家数字交换系统工程技术研究中心教授。 成员(以姓氏笔划为序)： 撰写组（按单位排名） 序言 当前人工智能（ArtificialIntelligence，AI）技术已经成为推动社会经济发展的新引擎。然而，正如哲学家黑格尔指出的那样：“一切事物都是自在性盾的”，任何伟大的技术发明在创造前所未有的机遇同时，也一定会衍生或伴随前所未有的挑战。当前数据投毒、算法偏见、模型脆弱性和运行环境内生安全威胁等问题频发，不仅影响到AI应用系统可用性和可靠性，还能会触及隐私保护网络安全、社会稳定乃至生命财产安全和认知混乱等可信性方面的技术伦理议题。因此，构建一套能够抵御内外部威胁、确保AI健康可持续发展的安全体系，已成为智能时代不可或缺的刚需，必须防范重蹈“先发展后治理”陈旧理念和模式覆辙。 哥德尔不完备性定理指出，即使是最精密细致设计的系统，也无法证明不存在不确定性风险。AI应用系统涵盖了从数据治理、模型训练、部署应用，到运行监控及反馈优化等环节，每一个步骤都有可能引入不确定性因素，主要表现在：一是AI应用系统运行环境仍基于冯·诺依曼的存储程序控制机理或架构，不可避免的存在“娘胎里带来基因缺陷”；另一方面，AI模型算法特有的“黑盒”效应具有不可解释性、不可判识性和不可推论性，使其成为悬在任何实用化的AI应用系统之上的“达摩克利斯之剑”或 现有AI安全防御方法主要依赖“亡羊补牢，吃一堑长一智”的经典反脆弱性方法论，这种策略尽管能够在一定程度上防范已知威胁， 但任何附加的安全算法或措施都无法杜绝自身存在的内生安全间题，因而不可能从根本上规避“反复踩坑的恶性循环”，有效抵御广义不确定性安全威胁。网络内生安全理论的提出，建立在必要多样性定律和相对正确公理基础上的“构造决定安全”方法，能够在AI应用系统设计之初就导入动态异构元余构造和策略裁决功能，使其具备应对应任何差模性质不确定性影响的能力，可为提升AI应用系统网络韧性或广义功能安全提供全新的视角和解决方案。 智能时代的技术实践需要正确的安全理论指引，在设计人工智能应用系统时，不仅要充分考虑网络韧性架构设计，还要为适应可能出现的各种未知安全风险留有足够余地。这既是人工智能技术发展的必然要求，也是防范社会性系统风险的必要条件。本蓝皮书是一篇集科学性、实用性和前瞻性于一体的报告，不仅能为学术界提供宝贵的理论参考，而且可为产业界提供一套行之有效的安全指南，更可以为一体化的设计“高可信多高可靠、高可用”AI应用系统提供一个具有普适性意义的解决方案，帮助我们在未来的发展道路上走得更加稳健，让“泛在化AI技术向善”。 前言 2024年1月，人工智能（AI）新锐巨头OpenAI公司的创始人兼首席执行官萨姆·奥尔特曼（SamAltman）在世界达沃斯论坛上强调，AI带来的技术革命不同于以往，而是成为了一种“不可思议的提高生产力的工具%作为最具颠覆性的新兴技术之一，AI发展在为人类社会经济发展带来巨大红利的同时，也引发了一系列现实危害和凤险挑战，主要包括数据窃取、隐私泄露、算法歧视、对抗攻击等安全威胁，它们不仅威胁着个人信息的保护，影响着企业的信誉和运营安全，甚至对国家安全也构成了潜在的隐患，这些问题需要我们持续关注并采取有效措施加以防范和解决。 当前人工智能应用系统的安全威肋是由于其网络软硬件运行环境和模型算法两个层面存在的“内生安全问题”所致。然而现有的人工智能应用系统安全防护模式和技术路线很少能跳出“尽力而为、间题归零”的惯性思维，传统的对抗训练、挖漏洞、打补丁、封门补漏查毒杀马乃至设蜜罐、布沙箱等层层叠叠的附加式防护措施，在引入安全功能的同时不可避免地会引入新的内生安全隐患。 琴为创造性破解人工智能应用系统内生安全难题，本蓝皮书提出一种内生安全赋能人工智能应用系统构建的方法，利用内生安全机理中内在的构造效应，从体制机理上管控或规避人工智能应用系统面临的破坏及威胁，进而有效提升人工智能应用系统在面对复杂多变安全环境时的应对能力，为AI技术的健康发展提供坚实保障。 目录 研究概述 （一）人工智能应用系统1.人工智能应用发展趋势分析2.人工智能应用系统分析（二）内生安全（三)研究意义.11 全球发展态势12 （一）全球人工智能发展现状.13（二）全球人工智能安全研究现状..14（三）全球人工智能安全产业发展现状.18（四）全球人工智能应用系统内生安全发展现状.21 三、我国发展现状23 （一）产业发展状况述评23（二）国内相关研究成果.25 四、技术预见30 人工智能应用系统的安全风险 3.棋型安全风险.31 5.恶意使用风险.32 6.法律和伦望风险327.系统同质化和系统性风险会.33（二）人工智能应用系统的风险成因分析.331.人工智能算法理论存在局限性332.人工智能算法结果难以解释343.人工智能应用系统要素缺乏安全性4.法律、伦望和信任度等社会因素共同作用.35人工智能应用系统的内生安全问题间学术.35人工智能应用系统的内生安全共性问题.352.人工智能应用系统的内生安全个性间期.363.人工智能应用系统的广义功能安全问题.38（四）人工智能应用系统内生安全框架.401.内生安全赋能人工智能应用系统安全的机理.402.内生安全赋能人工智能应用系统安全的特殊性.443.内生安全赋能人工智能应用系统安全的可行性.45P4.内生安全赋能人工智能应用系统构建47 五、工程难题50 提高AI模型算法鲁棒性构建AI模型安全监测体系.52（三）提升AI价值观对齐能力.53（四）建强AI应用系统安全环境.54 （一）加快推进人工智能应用系统立法保护.55 （二）加快人工智能应用系统供给侧安全治理56（三）加快解决关键技术受制于人的短板问题.57（四）加快建立国家级人工智能安全试验场，.59（五）加快转变教育范式培养负责任的开发者60（六）不断提高人工智能内生安全治理的国际影响力，61（七）建立健全人工智能应用系统风险等级划分制度 参考文献 一、研究概述 （一）人工智能应用系统 当前，全球人工智能技术取得了突飞猛进的发展，对经济社会发展和人类文明进步的深远影响日益显现，给世界带来了前所未有的巨大机遇。特别是以OpenAI公司先后发布的ChatGPT、GPT-4o、GPT-o1等为代表的大模型迅速崛起，更是将人工智能技术的发展推向了一个新的高度，预示着一个更加智能、更加全面的智能时代的到来。当前人工智能正加速与传统行业深度融合，给人机交互、客户服务、教育哆辅导等多个领域带来了重大变革，成为推动社会经济转型升级和高质量发展的重要力量。 图1显示了人工智能产业链框架，主要分为上游的基础层、中游的技术层和下游的应用层。其中基础层是人工智能产业的基础，主要指硬件设备和数据服务，为人工智能提供算力支持和数据基础，代表性企业有英伟达、百度、地平线机器人等：技术层是人工智能产业的核心，主要指通用技术、算法模型和开发平台，为人工智能产业提供技术支持，包含计算机视觉、自然语言处理、类脑算法、音频处理技术、人机交互五类，代表性企业有OpenAI、谷歌、微软、英伟达、百度、华为、迅飞、旷视科技、智谱华章等：下游的应用产品和应用场景包括所有AI技术与传统应用结合形成的产业种类，主要有语言终端、智能汽车、机器人、视觉产品、智慧教育、智慧医疗、智能制造等。 1.人工智能应用发展趋势分析 在科技飞速发展的今天，人工智能这股新浪潮正以前所未有的速度冲击着各个领域，改写着人类的生活方式。从ChatGPT为代表的大语言单模态模型到AI文生图等多模态生成模型，从煤矿到铁路，从金融到教育，AI技术的影子无处不在。人工智能作为当今世界科技革命和产业变革的关键领域，其产业应用的发展趋势呈现出多元化深度渗透和广泛应用的特点。 （1）技术创新持续升级 随着计算能力的不断提高和逻辑算法的不断优化，人工智能技术将更加成熟。深度学习、强化学习、神经网络、语言天模型、多模态预训练大模型等核心技术的不断进步，提升了语音识别、图像处理、自然语言理解等领域的准确性和效率。当前多模态预训练大模型正成为AI大模型的主流形态，堪称当今人工智能产业的“标配”。 （2）行业应用加速扩展 人工智能正应用于众多行业和领域，成为推动传统产业升级和新兴产业成长的重要力量。智能制造、智能医疗、智能交通、智慧城市等已经成为人工智能应用的热点领域。特别是生成式人工智能技术的飞跃式发展，其在广告营销、游戏创作、艺术设计等创造性工作场景与行业中，正得到更为广泛的应用。一方面，创意属于稀缺资源，人工智能生成内容（ArtificialIntelligenceGeneratedContent，AIGC）的创造性对激发灵感、辅助创作、验证创意等大有神益，另一方面，互联网大规模普及使得“一切皆可在线”，数字内容消费需求持续旺盛，AIGC能更低成本、更高效率地生产内容，其经济性愈发凸显。 （3）智能化服务成为常态 智能客服、智能助手等智能化服务将更加普及，成为人们日常生活和工作中不可或缺的一部分。同时，基于人工智能的大数据分析能力，企业将能够提供更加精准和个性化的服务。由于ChatGPT在文本对话领域表现出的和人类行为的相似性，其被认为是人类通往通用人工智能（ArtificialGencralIntelligence，AGI）道路上的里程碑式产品。2023年7月，AI科学家李飞飞团队公布了利用大型语言模型（LargeLanguageModels，LLMs）和视觉语言模型（Vision-LanguageModels，VLMs）驱动的机器人项目VoxPoser，人类可以用自然语言给机器人下达指令，机器人直接能够理解指令语义并做出相应动作，而无需额外数据和训练。这些技术将推动智能化服务产业进入拓宽加深期。 （4）伦理安全重视程度提高 随着人工智能技术的深入应用，深度神经网络大模型的预训练和大规模人机交互中的强化学习技术正在推动人工智能向认知发展导 向的“自我进化”。然而，如何确保这种“自我特征”对人类社会有益无害，以及如何保障数据安全和隐私，成为当前人工智能产业发展面临的重大挑战。2023年11月包括英国、美国、欧盟、澳大利亚和关注未来强大人工智能模型可能对人类生存构成的威胁，以及当前人工智能增强有害或偏见信息的风险。这一宣言有力印证了当前全球对人工智能安全伦理问题的重视。 （5）算力资源需求持续增长 随着人工智能应用的不断普及，计算能力的需求将持续增长。云大规模的算力需求。新硬件、新架构竞相涌现，现有芯片、操作系统应用软件等都可能被推翻重来，预计未来将实现“万物皆数据”“无数不计算”“无算不智能”的愿景，届时智能算力将无处不在，呈现“多元异构、软硬件协同、绿色集约、云边端一体化”四大特征。 （6）应用安全问题日益突出 随着人工智能技术的广泛应用，相关的安全隐患和挑战愈发严重对抗攻击、后门攻击、投毒攻击等多种安全间题揭示了人工智能技术的安全缺陷，对个人和社会具备潜在的风险和隐惠。各国和组织正加紧制定监管措施，建立伦理框架和安全标准，以确保人工智能应用过程中的透明性和可控性。但是，因为目前人工智能具有不可解释性、不可判别性、不可推论性等特点，使得其安全间题难以从根本上解决，因此垂需一个新的解决思路和框架。 2.人工智能应用系统分析 基于人工智能算法模型构建的应用系统体现在众多行业中，包括 城市公共安全管理、金融服务、医疗保健、零售和电子商务、生产制造、交通物流、教学教育、娱乐旅游子食品科技、制造业、房地产业、零售业等等。利用人工智能系