2025人工智能网络安全基准报告：大型组织AI安全挑战应对策略

人工智能网络基准 如何处理大型组织面临的挑战人工智能安全挑战？ 无疑：人工智能是一个独特的机遇… …必须是这样的已确认！ 人工智能系统与传统IT系统工作方式不同…… 瓦韦斯顿AI网络安全基准 - 2025 因此，它可以以非常具体和新的方式被攻击 今天，超越炒作效应，人工智能已经成为现实！瓦韦斯顿AI网络安全基准 - 2025 •一些客户正在大规模采用人工智能：• 确定识别出50至400个用例很强在执委会层面的动员 导致一个众多活动但是一个大量模糊不清。 我们的目标：帮助阐明如何应对人工智能安全问题。通过我们的AI网络基准测试 • 管理• 确定• 保护• 检测• 回应 与...合作+20客户已在此主题上展开工作。 我们将这些客户放在其AI成熟度评估的“板凳”上基于5个NIST支柱，并综合了这些结果待定（需要进一步的信息来翻译该单词或短语）生产这款首批AI网络基准指标. 第一课：明确你对人工智能的立场！瓦韦斯顿AI网络安全基准 - 2025 •••构建和有时出售人工智能模型双方第三方和内部解决方案结构化的数据科学家团队 人工智能编排器 •••嵌入式人工智能功能在他们的产品/服务中，内部或外部提供一台通用人工智能平台为应用程序构建者主要使用第三方解决方案，他们将整合 • 没有结构化的数据科学家团队或AI中心。• 适时使用人工智能以提高生产力• 采用第三方解决方案 市场迅速接受了适应人工智能到来的必要性。 在集团层面定义一项新的治理结构，资源有限。瓦韦斯顿AI网络安全基准 - 2025 企业评估中，有足够的AI专业知识关于相关利益方 评估的公司中有明确了集团层面的可信赖治理。 我们的建议：通过一个综合治理体系来帮助人们提升技能。 瓦韦斯顿AI网络安全基准 - 2025框定您的网络 方法 •框架化人工智能在大型公共应用中的使用•表明了确保过程。人工智能项目•整合第三方对人工智能的立场对评估的公司而言拥有一个人工智能安全政策 对评估的公司而言已调整其项目流程关于人工智能 •定义角色和责任•定义验证过程 瓦韦斯顿AI网络安全基准 - 2025 我们确定了六个关键反复出现的因素，这些因素导致最大的风险 外部系统，尤其是通用人工智能聊天机器人 数据集用于训练未知或包含个人数据 关于关键/机密数据检索增强生成 (RAG) 模型修改、非权威来源的数据或工具集 AI执行行动的能力 AI模型具有关键任务输出（例如，安全检测） 但大多数AI用例我们所评估的通常是用于非关键流程那些不需要高可用性或严格完整性的系统，通常依赖于人工监督。 保护：不存在“一刀切”的方法。 让我们深入了解典型的通用人工智能（GenAI）架构！瓦韦斯顿AI网络安全基准 - 2025 AI用户：确保您的数据安全并检查您的供应商瓦韦斯顿AI网络安全基准 - 2025 •请选择您的提供商验证符合您的安全要求（学习阶段、数据使用等）包括合同性的关于共享的要求和措施数据•保护数据正在访问或生成（访问权利、政策等）•配置参数确保能够监控生态系统 我们的客户适应了他们的第三方评估人工智能供应商的方法论 瓦韦斯顿AI网络安全基准 - 2025AI编排器：选择您的模型和平台及 实施MLSecOps •建立标准选择正确的模型：白名单供应商、代码审查、操作测试……• 构建输入和输出控制• 确保适当前端安全• 使AI项目“设计安全与 MLSecOps 高级创作者：整个堆栈的全权责任。瓦韦斯顿AI网络安全基准 - 2025 • 实施深入的安全措施, 与数据科学家相伴： •模型架构安全，作为随机平滑、对抗学习、Bagging•训练数据安全: 使用合成数据和差分隐私•模型保护，同态加密和差分隐私… • 将安全措施视为差异化因素转售您的应用程序和模型 Of我们的客户拥有建立措施和适置的工具用于检测和捍卫对抗恶意提示并且其他已识别威胁 瓦韦斯顿AI网络安全基准 - 2025第一次人工智能风险缓解措施是 可用 雷达 - 人工智能风险缓解解决方案 现有网络控制措施可能需要更新以减轻人工智能的网络安全风险！ 首先，渗透测试！但有所变化：威胁是在人工智能生命周期全程呈现 我们的一些客户已经在进行渗透测试流程中测试使用场所案例 …我们对测试并适应后，成功将我们的AI红队框架推向市场 我们客户中有高级模型稳健性评估 预先提示访问、输入/输出过滤、非法内部数据检索、API限制、检测与监控 幻觉、错误信息、鲁棒性、有害性——注入提示… 新的方法及工具需求，往往使用大型语言模型攻击大型语言模型！ 我们的通用人工智能（GenAI）红队团队反馈瓦韦斯顿AI网络安全基准 - 2025 瓦韦斯顿AI网络安全基准 - 2025随后，将人工智能系统整合到全球检测策略中。检测数据可供使用... 但尚未集成到公司的监控系统。 确保能够检测到模型中的异常行为但同时也涉及整个平台生态系统（AI 库，访问控制漏洞） 首次举措已出现，但该领域仍属新颖。瓦韦斯顿AI网络安全基准 - 2025 联合网络防御协作智能网络桌面演习 针对事件响应的措施AI处理更新 •识别差距•加强人工智能事件上的协作 人工智能技术的特定性需要特定的调查能力。 敌对威胁人工智能领域前景系统 人工智能安全事件应急响应小组 0%法医技术在机器学习领域中的应用在评估的机构中使用的算法 •分析和应对威胁•人工智能事件分析与信息共享•脆弱性缓解 现在……你该做什么呢？ 将您的努力与您的立场保持一致：开始稳定……但现在就开始！瓦韦斯顿AI网络安全基准 - 2025 高级人工智能创作者 •确保所有工具以及流程关于MLOps团队的高级保护ML关键资产特别是如果人工智能系统大量曝光或转售确保正确的检测以及响应能力 • 以及以下所有内容 联合所有力量团队，特别地，数据科学专家，以及所有可信赖人工智能的参与者生态系统 人工智能编排器 •安全的AI平台并且利用他们的能力 •安全数据仓库关于人工智能访问（RAG）丰富安全工具集对于关键用例• …以及以下所有内容 需要团队合作才能建立长期信任在您的AI项目中！ AI用户 • 人工智能风险意识•治理、政策与合规（AI Act）•第三方人工智能风险框架•人工智能红队对抗针对暴露/机密数据 UC 还有一件事… 人工智能还可以增强网络安全能力！ 瓦韦斯顿AI网络安全基准 - 2025简而言之，有4个类别： 用例值得记住 瓦韦斯顿AI网络安全基准 - 2025 联系方式 Gérôme BILLOIS 合伙人gerome.billois@wavestone.com