20奇安信一代网络安全领军者想像与现实：人工智能恶意使用的威肋2024人工智能安全报告 2024人工智能安全报告目录CONTENTS、AI的定义二、AI引发科技变革三、AI存在滥用风险四、AI普及引入多种威胁1、深度伪造62、黑产大语言模型基础设施3、利用AI的自动化攻击94、AI武器化105、LLM自身的安全风险116、恶意软件127、钓鱼邮件148、口令爆破·159、验证码破解1610、社会工程学的技术支持1711、虚假内容和活动的生成1912、硬件传感器相关威肋20五、当前状况总结·21六、应对措施建议211、安全行业?212、监管机构223、政企机构224、网络用户23 2024人工智能安全报告主要观点人工智能（AI）是新一轮科技革命和产业变革的核心技术，被誉为下一个生产力前沿。具有巨大潜力的AI技术同时也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。研究发现：AI已成攻击工具，带来迫在眉睫的威胁，AI相关的网络攻击频次越来越高。数据显示，在2023年，基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件数量增长了1000%；奇安信威胁情报中心监测发现，已有多个有国家背景的APT组织利用A/实施了十余起网络攻击事件。同时，各类基于Al的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意AI机器人、自动化攻击等，在全球造成了严重的危害。AI加剧军事威助，AI武器化趋势显现。AI可以被用来创建或增强自主武器系统，这些系统能够在没有人类直接控制的情况下选择和攻击自标。这可能导致道德和法律问题，如责任归属问题及如何确保符合国际人道法。A/系统可能会以难以预测的方式行动，特别是在复杂的战场环境中，这可能导致意外的平民伤亡或其他未预见的战略后果。强大的AI技术可能落入非国家行为者或恐怖组织手中，他们可能会使用这些技术进行难以应付的破坏活动或恐怖袭击。AI与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外，因训练语料存在不良信息导致生成的内容不安全，正持续引发灾难性的后果，危害国家安全、公共安全甚至公民个人安全。但自前，业内对其潜在风险、潜在危害的研究与重视程度还远远不足。AI技术推动安全范式变革，全行业需启动人工智能网络防御推进计划。新一代AI技术与大语言模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远的影响，各国正在竞相加强在人工智能领域的竞争，以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。一个影响深远的新技术出现，人们一般倾向于在短期高估其作用，而又长期低估其影响。当前，攻防双方都在素张地探索A/条手级的应用，也许在儿天、儿个月以后就会看到重大的变化。因此无论监管机构、安全行业，还是政企机构，都需要积极拥抱并审慎评估AI技术与大模型带来的巨大潜力和确定性，监管与治理须及时跟进，不能先上车再补票。 2024人工智能安全报告在本报告中，我们将深入探讨AI在恶意活动中的应用，揭示其在网络犯罪、网络钓鱼、勒索软件攻击及其他安全威胁中的潜在作用。我们将分析威胁行为者如何利用先进的AI技术来加强他们的攻击策略，规避安全防御措施，并提高攻击成功率。此外，我们还将探讨如何在这个不断变化的数字世界中保护我们的网络基础设施和数据，以应对AI驱动的恶意活动所带来的挑战。 2024人工智能安全报告一、AI的定义这些系统通过模拟人类智能的各种方面，如学习、推理、感知、理解、决策和交流，来完成各种任务。人工智能涉及到多个子领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。它的应用范围非常广泛，包括自动驾驶汽车、智能助手、智能家居系统、医疗诊断、金融预测等。人工智能的发展旨在使计算机系统具备更加智能化的能力，以解决复杂问题并为人类社会带来更大的便利和效益。A可以分为两种主要类型：弱AI和强AI。弱AI（狭义AI）是设计用来执行特定任务的系统，2022年以后，以ChatGPT为代表的大语言模型（LargeLanguageModel，LLM）Al技术快速崛起，后续的进展可谓一日里，迎来了AI技术应用的大爆发，体现出来的能力和效果震惊世界，进而有望成为真正的通用人工智能（ArtiticialGeneralIntelligence，AGl）。AI是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。AI被视为第四次科技浪潮的核心技术，它同时也带来巨大潜在威胁与风险。二、A/引发科技变革·效率和生产力的提升：AI可以自动化一系列的任务，从而极大地提高效率和生产力。例如AI可以用于自动化数据分析，使得我们能够从大量数据中快速地提取出有价值的洞察。·决策支持：AI可以处理和分析比人类更大的数据量，使得它能够支持数据驱动的决策。例如AI可以用于预测销售趋势，帮助企业做出更好的商业决策。·新的服务和产品：AI的发展为新的服务和产品创造了可能。例如，A/已经被用于创建个性化的新闻推荐系统，以及智能家居设备。·解决复杂问题：AI有能力处理复杂的问题和大量的数据，这使得它能够帮助我们解决一些传统方法难以解决的问题。例如，AI已经被用于预测疾病的发展，以及解决气候变化的问题。·提升人类生活质量：AI可以被用于各种应用，从医疗保健到教育，从交通到娱乐，这些都有可能极大地提升我们的生活质量。在网络安全领域，近期大热的生成式AI在安全分析和服务方面已经有了一定的应用场景和规模，根据Splunk发布的CISO调研报告，所涉及的35%的公司采用了某些类型的生成式AI技术，约20%的公司用在了诸如恶意代码分析、威胁狩猎、应急响应、检测规则创建等安全防御的核心场景中。3 2024人工智能安全报告35%安全卫生&姿态管理26%25%23%分析与优化分析数据源，确恶意软件分析检测规则生成27%告警与事件的数据扩充定优化还是消除23%22%22%26%内部沟通生成安全配置标准工作流自动化威胁猎20%20%19%风险评分策略生成安全响应&取证调查表1生成式AI在企业网络安全上的应用AI的应用带来了许多好处，我们也需要关注其可能带来的问题，在推动AI发展的同时，也要制定相应的政策和法规来管理AI的使用。三、A/存在滥用风险《麻省理工学院技术评论洞察》曾对301名高级商界领袖和学者进行了广泛的人工智能相关问题调查，包括其对人工智能的担忧。调查显示，人工智能发展过程中缺乏透明度、偏见、缺乏治理，以及自动化可能导致大量失业等问题令人担忧，但参与者最担心的是人工智能落入坏人手里。恶意使用人工智能人类引入的AI偏见缺之透明度缺芝治理缺之人工介入缺之企业造德战略治理过度自动化导致失业0%100%■极其关注■非常关注■关注■有些关注■不关注表2人工智能相关问题调查AI恶意使用对现有威胁格局的影响主要有两类：对现有威胁的扩增。AI完成攻击过程需要耗费大量时间和技能、人工介入环节的任务，可以极 2024人工智能安全报告大提升攻击活动的效率，直接导致对现有威胁模式效能的扩大，如钓鱼邮件和社会工程学的恶意活动。引入新的威胁。A/可以完成大量之前人类根本无法完成的任务，从而引入新的攻击对象和模式。业内普遍预测，未来十年该技术的恶意使用将迅速增长，人工智能的恶意使用在网络安全、物理安全、政治安全、军事安全等方面构成严重威胁。网络威助：考虑到网络空间固有的脆弱性及网络攻击所造成的威胁的不对称性，网络威助日益受到关注。威胁包括网络钓鱼、中间人、勒索软件和DDoS攻击及网站篇改。此外，人们越来越担心恶意行为者滥用信息和通信技术，特别是互联网和社交媒体，实施、煽动、招募人员、资助或策划恐怖主义行为。威胁行为者可以利用人工智能系统来提高传统网络攻击的效力和有效性，或者通过侵犯信息的机密性或攻击其完整性、可用性来损害信息的安全。物理威胁：过去十年中，网络技术让日常生活日益互联，这主要体现在物联网（loT）的出现。这种互联性体现在物联网（loT）概念的出现中，物联网是一个由互联数字设备和物理对象组成的生态系统，通过互联网传输数据和执行控制。在这个互联的世界中，无人机已经开始送货，自动驾驶汽车也已经上路，医疗设备也越来越多地采用了AI技术，智能城市或家庭环境中的互连性及日益自主的设备和机器人极大地扩大了攻击面。所有智能设备使用了大量的传感器，AI相关的技术负责信息的解析，并在此基础上通过AI形成自动操作决策。一旦AI系统的数据分析和决策过程受到恶意影响和干扰，则会对通常为操作对象的物理实体造成巨大的威胁，从工控系统的失控到人身伤害都已经有了现实案例。政治威胁：随着信息和通信技术的进步及社交媒体在全球的突出地位，个人交流和寻找新闻来源的方式不可避免地发生了前所未有的变化，这种转变在世界客地随处可见。以ChatGPT为代表的生成式A/技术可能被用于生成欺诈和虚假内容，使人们容易受到错误信息和虚假信息的操纵。此络欺诈大增，甚至引发社会认知混乱、威胁政治稳定。军事威助：快速发展的AI技术正在加剧军事威胁，AI武器化趋势显现。一方面，人工智能可被用在“机器人杀手”等致命性自主武器（LAWS）上，通过自主识别攻击自标、远程自动化操作等，隐藏攻击者来源、建立对抗优势；另一方面，人工智能可以将网络、决策者和操作者相连接，让军事行动的针对性更强、自标更明确、打击范围更广，越来越多的国家开始探素人工智能在军事领域的应用。数据显示，2024财年，美国国防部计划增加与AI相关的网络安全投资，总额约2457亿美元，其中674亿美元用于网络IT和电子战能力。上述威胁很可能是互有联系的。例如，人工智能黑客攻击可以针对网络和物理系统，造成设施甚至人身伤害，并且可以出于政治自的进行物理或数字攻击，事实上利用AI对政治施加影响基本总是以数字和物理攻击为抓手。 2024人工智能安全报告四、A/普及引入多种威肋1、深度伪造威胁类型：#政治威胁#网络威胁#军事威肋深度伪造（Deepfake）是一种使用Al技术合成人物图像、音频和视频，使得伪造内容看起来和听起来非常真实的方法。深度伪造技术通常使用生成对抗网络（GANs）或变分自编码器（VAEs）等深度学习方法来生成逼真的内容。这些技术可以用于创建虚假新闻、操纵公众舆论、制造假象，甚至进行欺诈和勒索。以下是关于AI在深度伪造中的应用描述和案例。1）面部替换：深度伪造技术可以将一个人的脸部特征无缝地替换到另一个人的脸上。这种技术可以用于制造虚假新闻，使名人或政治家似乎在说或做一些从未说过或做过的事情。这可能导致严重的社会和政治后果。案例：名人深度伪造几年前，一个名为“DeepFakes”的用户在Reddit上发布了一系列名人的深度伪造视频。这些视频将名人的脸部特征替换到其他人的脸上，使得视频看起来非常真实。这些视频引发了关于深度伪造技术潜在用和隐私侵犯的讨论。2022年3月俄乌冲突期间的信息战传播了由AI生成的乌克兰总统泽伦斯基“深度伪造”视频，声称乌克兰已向俄罗斯投降，并在乌克兰24小时网站和电视广播中播报。伪造真实自战争爆发以来，其他乌克兰媒体网站也遭到宣称乌克兰投降的信息的破图1深度伪造的乌克兰总统视频坏。案例：利用AI工具制作虚假色情视频2023年6月5日，美国联邦调查局（FBI）在一份公共服务公告中表示，已收到越来越多的对犯罪分子的投诉，这些犯罪分子借助深度造假AI工具，利用受害者社交媒体账户上常见的图像和剪辑来制作虚假色情视频。FBI表示，诈骗者有时在社交媒体、公共论坛或色情网站上传播它们。犯罪6 2024人工智能安全报告分子经常要求受害者向他们支付金钱、礼品卡甚至真实的性图像，否则将在公开互联网上发布深度伪造图像或将其发送给朋友和家人。虚假色情图像已经流行多年，但先进的深度造假技术迅速