2024想像与现实： 人工智能 恶意使用的威胁人工智能安全报告 2024人工智能安全报告一、AI 的定义 .........................................................................................................3二、AI 引发科技变革 ................................................................................................3三、AI 存在滥用风险 ................................................................................................4四、AI 普及引入多种威胁 ..........................................................................................6 1、深度伪造 ......................................................................................................6 2、黑产大语言模型基础设施 .................................................................................7 3、利用 AI 的自动化攻击 ....................................................................................9 4、AI 武器化 ...................................................................................................10 5、LLM 自身的安全风险 .......................................................................................11 6、恶意软件 ......................................................................................................12 7、钓鱼邮件 ......................................................................................................14 8、口令爆破 ......................................................................................................15 9、验证码破解 ...................................................................................................16 10、社会工程学的技术支持 .................................................................................17 11、虚假内容和活动的生成 .................................................................................19 12、硬件传感器相关威胁 ....................................................................................20五、当前状况总结......................................................................................................21六、应对措施建议......................................................................................................21 1、安全行业 ......................................................................................................21 2、监管机构 ......................................................................................................22 3、政企机构 ......................................................................................................22 4、网络用户 ......................................................................................................23CONTENTS目录 2024人工智能安全报告1主要观点人工智能（AI）是新一轮科技革命和产业变革的核心技术，被誉为下一个生产力前沿。具有巨大潜力的 AI 技术同时也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。研究发现：AI已成攻击工具，带来迫在眉睫的威胁，AI相关的网络攻击频次越来越高。数据显示，在2023年，基于 AI 的深度伪造欺诈暴增了 3000%，基于 AI 的钓鱼邮件数量增长了 1000%；奇安信威胁情报中心监测发现，已有多个有国家背景的 APT 组织利用 AI 实施了十余起网络攻击事件。同时，各类基于 AI 的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意 AI 机器人、自动化攻击等，在全球造成了严重的危害。AI加剧军事威胁，AI武器化趋势显现。AI 可以被用来创建或增强自主武器系统，这些系统能够在没有人类直接控制的情况下选择和攻击目标。这可能导致道德和法律问题，如责任归属问题及如何确保符合国际人道法。AI 系统可能会以难以预测的方式行动，特别是在复杂的战场环境中，这可能导致意外的平民伤亡或其他未预见的战略后果。强大的 AI 技术可能落入非国家行为者或恐怖组织手中，他们可能会使用这些技术进行难以应付的破坏活动或恐怖袭击。AI与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织 OWASP 发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外，因训练语料存在不良信息导致生成的内容不安全，正持续引发灾难性的后果，危害国家安全、公共安全甚至公民个人安全。但目前，业内对其潜在风险、潜在危害的研究与重视程度还远远不足。AI技术推动安全范式变革，全行业需启动人工智能网络防御推进计划。新一代 AI 技术与大语言模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远的影响，各国正在竞相加强在人工智能领域的竞争，以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。一个影响深远的新技术出现，人们一般倾向于在短期高估其作用，而又长期低估其影响。当前，攻防双方都在紧张地探索 AI 杀手级的应用，也许在几天、几个月以后就会看到重大的变化。因此，无论监管机构、安全行业，还是政企机构，都需要积极拥抱并审慎评估 AI 技术与大模型带来的巨大潜力和确定性，监管与治理须及时跟进，不能先上车再补票。 2024人工智能安全报告2在本报告中，我们将深入探讨 AI 在恶意活动中的应用，揭示其在网络犯罪、网络钓鱼、勒索软件攻击及其他安全威胁中的潜在作用。我们将分析威胁行为者如何利用先进的 AI 技术来加强他们的攻击策略，规避安全防御措施，并提高攻击成功率。此外，我们还将探讨如何在这个不断变化的数字世界中保护我们的网络基础设施和数据，以应对 AI 驱动的恶意活动所带来的挑战。 2024人工智能安全报告3一、AI 的定义人工智能（Artificial Intelligence，AI）是一种计算机科学领域，旨在开发能够执行智能任务的系统。这些系统通过模拟人类智能的各种方面，如学习、推理、感知、理解、决策和交流，来完成各种任务。人工智能涉及到多个子领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。它的应用范围非常广泛，包括自动驾驶汽车、智能助手、智能家居系统、医疗诊断、金融预测等。人工智能的发展旨在使计算机系统具备更加智能化的能力，以解决复杂问题并为人类社会带来更大的便利和效益。 AI 可以分为两种主要类型：弱 AI 和强 AI。弱 AI（狭义 AI）是设计用来执行特定任务的系统，如语音识别或面部识别，而强 AI（通用 AI）是可以理解、学习、适应和实施任何智能任务的系统。2022 年以后，以 ChatGPT 为代表的大语言模型（Large Language Model，LLM）AI 技术快速崛起，后续的进展可谓一日千里，迎来了AI技术应用的大爆发，体现出来的能力和效果震惊世界，进而有望成为真正的通用人工智能（Artificial General Intelligence，AGI）。AI 是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。AI 被视为第四次科技浪潮的核心技术，它同时也带来巨大潜在威胁与风险。二、AI 引发科技变革･ 效率和生产力的提升：AI 可以自动化一系列的任务，从而极大地提高效率和生产力。例如，AI 可以用于自动化数据分析，使得我们能够从大量数据中快速地提取出有价值的洞察。･ 决策支持：AI 可以处理和分析比人类更大的数据量，使得它能够支持数据驱动的决策。例如，AI 可以用于预测销售趋势，帮助企业做出更好的商业决策。･ 新的服务和产品：AI 的发展为新的服务和产品创造了可能。例如，AI 已经被用于创建个性化的新闻推荐系统，以及智能家居设备。･ 解决复杂问题：AI 有能力处理复杂的问题和大量的数据，这使得它能够帮助我们解决一些传统方法难以解决的问题。例如，AI 已经被用于预测疾病的发展，以及解决气候变化的问题。･ 提升人类生活质量：AI 可以被用于各种应用，从医疗保健到教育，从交通到娱乐，这些都有可能极大地提升我们的生活质量。在网络安全领域，近期大热的生成式 AI 在安全分析和服务方面已经有了一定的应用场景和规模，根据 Splunk 发布的 CISO 调研报告，所涉及的 35% 的公司采用了某些类型的生成式 AI 技术，约20%的公司用在了诸如恶意代码分析、威胁狩猎、应急响应、检测规则创建等安全防御的核心场景中。 2024人工智能安全报告4AI 的应用带来了许多好处，我们也需要关注其可能带来的问题，在推动 AI 发展的同时，也要制定相应的政策和法规来管理 AI 的使用。三、AI 存在滥用风险《麻省理工学院技术评论洞察》