防范通用 AI 攻击并保护 AI 环境

当谈及生成式人工智能（gen AI）和网络安全时，攻击者是否拥有优势？根据世界经济论坛《2024年全球网络安全展望报告》，56%的高管认为在未来两年内攻击者将比防御者占据优势。1， 强调迫切需要为下一代 AI 时代重塑网络安全。 Gen AI 对威胁格局的影响 像许多企业和政府组织一样，网络犯罪分子也急于利用生成式AI的潜力，导致基于生成式AI的网络攻击有所增加。例如，勒索软件攻击的数量显著上升，自2022年底ChatGPT发布以来，这类攻击增加了76%。2这些攻击往往通过生成式人工智能（gen AI）驱动的网络钓鱼发起，并影响地方政府、教育、制造业和医疗保健等行业。恶意的大语言模型（malicious LLMs），如Fraud GPT和PentestGPT，正在创建内容以促进网络攻击。这些恶意大语言模型每月可在暗网上以低至200美元的价格购买。 自 ChatGPT 推出以来 ， 网络钓鱼攻击也激增 - 达到了惊人的 1, 265%3.例如，我们看到了语音深度假信息（deepfakes）模仿高管以欺诈性授权财务转账的现象大幅增加。最近，香港银行因一起复杂的深度假信息诈骗案遭受了2500万美元的损失。诈骗者在会议通话中数字重现了公司的首席技术官及其他员工，指示同事进行资金转账。4. 黑客活动团体Ghost Sec等威胁行为者一直在试验暗态的大语言模型（dark LLMs），以创建基于Python的勒索软件，并通过高度混淆的技术手段进行分发，从而提高其成功概率。5. 根据埃森哲网络智能研究，某些行业（如金融服务、政府和能源）在面对生成式人工智能攻击时更容易成为目标。这些行业往往使用更为复杂的先进技术，使其更容易受到高级攻击的威胁。因此，金融服务和政府等行业正在积极开发并定制针对生成式人工智能攻击的防御措施。 Gen AI 特定的漏洞通用人工智能（Gen AI）使组织面临更广泛的威胁 landscape、更为复杂的攻击者以及新的攻击点。随着组织从试点项目和单独的应用场景过渡到更大规模的通用人工智能实施，网络安全风险将增加。这是因为采用的规模和复杂性将增加，例如系统中的用户数量增加、数据量增加以及集成程度加深。这些增加的风险涵盖了从通用人工智能模型的中断和提示注入到训练数据的暴露、窃取和操控等各个方面。这类漏洞是全新的，而大多数组织尚未准备好应对这些问题。因此，现在需要新的能力，如阴影AI发现、LLM提示和响应过滤以及专门的AI工作负载集成测试，以妥善缓解这些新的风险。 无论是在防范AI驱动的攻击还是保护自身的AI生态系统方面，组织必须迅速更新其安全态势。在通用人工智能时代取得优势的关键在于将安全设计融入其中。 加速安全的 General AI 之旅 公司表现良好的企业认识到安全性并未拖慢它们的步伐，而是加速通用人工智能成功的关键。为了大规模加快通用人工智能的采用并有效保护企业级通用人工智能环境，公司应借鉴以下建议： 在每一层保护 General AI 环境 ：组织必须专注于确保整个生成式AI堆栈，包括数据层、基础模型、生成式AI应用，以及身份访问和控制。传统安全措施可以复制，但还应探索特定于AI的解决方案以应对生成式AI环境的独特漏洞。 在治理、风险和合规 (GRC) 中整合 AI 安全性 ：生成式AI安全应作为企业风险管理（GRC）不可或缺的一部分，建立清晰的治理框架、政策和流程。组织还必须及时了解不断变化的法规。例如，《欧洲联盟人工智能法案》旨在确保人工智能系统在开发和部署时考虑安全性，而拜登政府的行政命令则为安全的人工智能开发和使用奠定了基础。与监管机构开展私营和公共合作伙伴关系可以帮助公司影响未来的法规制定。 评估 Gen AI 安全风险级别 ：进行全面的安全评估——基于最新的网络情报进行——以了解您生成式AI环境当前的安全成熟度。评估生成式AI架构，并确保其与行业最佳实践保持一致。安永生成式AI安全诊断可以提供有关需要改进的领域以更安全地采用生成式AI的见解。 Lendlease:莱斯利需要具备适应全球风险变化的灵活性。Accenture和Google Cloud合作开发了一种下一代检测与响应能力，利用了生成式人工智能，并由一个专门针对安全场景设计的大语言模型驱动。这导致了事件检测、响应行动、沟通和修复措施的改进。 好的消息是，通用人工智能也为网络安全防御和网络安全的重塑提供了机遇。通过充分利用通用人工智能，组织可以转守为攻，增强其网络防御能力。 传统安全解决方案单独使用不足以应对基于AI的风险。组织应采纳基于AI的防御技术，并测试可能被威胁行为者使用的生成式AI技术。例如，包括基于AI的红队演练和渗透测试——随着生成式AI监管政策的发展，这些将成为组织的强制要求。 澳大利亚大型银行 ：Accenture与一家大型澳大利亚银行合作，将其环境转型为以生成式人工智能（gen AI）为基础的生态系统，并重点关注安全性。实施了具体的数据保护和安全措施以保障数据湖、生成式人工智能应用及数字身份的安全。安全性在促进生成式人工智能的负责任采用以及加速银行的业务目标方面发挥了关键作用。 许多平台公司和超大规模企业正在在其自有环境和更广泛的范围内推出AI安全功能。安永的Managed Detection and Response（MDR）服务依托于Google Cloud提供的安全特定生成式AI智能，旨在与常见安全环境及其他云服务集成。市场上出现了新的参与者，他们从零开始创建了专门针对生成式AI的安全解决方案以保护环境。 取得联系 consolidating 安全供应商可以减少复杂性并提升您的整体安全态势。许多组织目前拥有40至50种不同的安全工具——这既昂贵又不安全。 通过带领您的团队参加我们的Accenture Gen AI Studios，探索新的增长步骤和客户相关性的机会。 联系 Daniel Kendzior, Accenture Security daniel. kendzior @ accenture. com 总经理