对抗性提示：大语言模型 安全性基准测试

对抗性提示：大语言模型安全性基准测试 这是一份关于大语言模型(LLM)对抗性提示的专家指南，其中包含对主流模型在各类危害场景下的基准测试研究。 对抗性提示：大语言模型安全性基准测试 这是一份关于大语言模型(LLM)对抗性提示的专家指南，其中包含对主流模型在各类危害场景下的基准测试研究。 Copyright © Appen 2024–All Rights Reserved 目录 对抗性提示：大语言模型安全性基准测试 摘要4 引言4 研究方法5 结果6 讨论7 结论11 撰稿作者12 参考文献来源13 摘要 确保大语言模型(LLM)的安全部署，绝非仅靠扩大模型规模或增加训练数据量就能实现。本文介绍了一个针对安全相关提示词的新型评估数据集，并利用该数据集对多个主流开源和闭源模型进行了评估。我们的研究结果表明，社会规范和训练实践等环境因素会在安全关键场景中影响模型行为。 1.引言 LLM迅速推动了人工智能(AI)的前沿发展，在跨领域生成类人文本方面展现出令人瞩目的能力，例如起草电子邮件、翻译各种语言到编写代码。这些LLM系统正在以前所未有的规模融入各类产品和工作流程，其日益增长的影响力也带来了越来越严重的安全问题。其中一个风险是LLM易受对抗性提示的影响，而对抗性提示输入能绕过防护机制，诱导模型生成有害、有偏见或不安全的输出。此类问题并非仅存在于理论层面，而是会对信任、公平性以及负责任的AI部署产生现实影响。 对抗性提示暴露了生成式模型可能被操纵的漏洞，如绕过过滤机制或触发非预期行为。理解这些漏洞对于开发更稳健、更对齐的AI系统至关重要。在本研究中，我们探究了对抗性提示如何揭示最先进模型中的安全风险，并提出原创研究基准，衡量其在一系列危害场景下的表现。 2.背景 大语言模型(LLM)的安全性已引起技术界和商业界的广泛关注。在人工智能领域，“AI安全性”（AI Safety）指降低非预期后果或风险的产生；而“AI安全防护”（AI Security）则主要研究系统抵御外部威胁的防护韧性。早期为指导LLM安全开发所做的努力包括构建不安全输出及失效模式（如毒性、虚假信息、偏见等）的分类体系，为新兴的评估框架提供依据（Weidinger等人，2021；Solaiman & Dennison，2021）。与此同时，如RealToxicityPrompts这样的数据集为衡量模型输出中的神经毒性退化提供了大规模基准（Gehman等人，2020）；而“宪法式AI”等微调方法则通过人机协作训练AI模型，使其能够相互监控和评估无害性（Bai等人，2022）。认识到人类和模型行为中均存在隐性偏见，凸显了审视机器学习研究中所蕴含的价值观的重要性，也强调了开展具有包容性和文化意识的安全评估的必要性（Birhane等人，2022）。 对抗性提示技术已成为探测LLM漏洞的关键工具。基于提示词的对抗性样本生成研究表明，对输入进行细微修改就能诱导模型产生不当行为（Yang等人，2022）。在这些研究结果的基础上，基于查询的对抗性提示词生成研究进一步证实，通过API级别的交互可以成功绕过已部署的内容过滤机制（Hayase等人，2024）。全面的调查和威胁分析已对攻击媒介和防御策略进行了系统梳理，以结构化的方式概述了新兴的对抗性威胁及日益复杂的AI对抗环境带来的挑战（Shayegani等人，2023；Schwinn等人，2023）。针对社会身份偏见的研究揭示了在对抗性条件下，生成式模型可能会复制或放大有害的刻板印象（Hu等人，2024），同时也为利用基准数据集来评估LLM的毒性及规避能力奠定了基础（Luong等人，2024）。 近期提出的框架主张采用技术保障、治理机制和人工监督整合的整体性方法来实现LLM安全（Van Doren，2025）；而思维链提示已被证明可以改善模型推理能力，并在复杂任务中找出潜在的失效模式（Van Doren等人，2024）。 OpenAI近期的一份报告（Zaremba, 2025）发现，在多种攻击场景中，推理时间计算量的增加会提高模型的稳健性。随着计算量增长，成功攻击的比例趋于零。然而，我们的研究结果表明，这种关系并非普遍存在。尽管DeepSeek-R1通过思维链提示增加了推理时间，但在我们的评估中，其输出的安全性最低，表现甚至逊于Claude 3.7和GPT-4o等推理时间更短的模型。这表明，仅靠基于推理时间的计算量不足以保障安全，部署方法和数据集质量仍是关键因素。 尽管已取得上述进展，但文化背景、部署场景等环境因素的影响仍未得到充分研究。本研究在这些研究的基础上，进一步考察在主流开源和闭源LLM中，此类因素如何影响安全输出结果。 3.研究方法 我们的研究团队凭借为主流模型开发者开展红队测试的专业经验，设计了包含1,000个对抗性提示词的评估数据集，旨在暴露模型漏洞。这些提示词采用了多种先前对抗性提示实验验证有效的技术。 我 们 使 用 模 型 开 发 者 提 供 的 官 方API对 以 下 四 个 主 流LLM进 行 了 系 统 性 评 估 ：DeepSeek R1、Claude 3.7 Sonnet、LLAMA 3.3 70B Instruct和GPT-4o。我们准备了一个1000个prompt的测试数据集，并将这个数据集提供给了4个LLM。为使人工评估集中在潜在的不安全输出上，我们采用了一个以内容审核为核心的模型进行单盲预筛选，以识别出极有可能含危害的回应。人工评估员不了解哪些响应被该审核模型标记为不安全， 且评估的是一组混合了潜在有害内容与安全内容的输出，目的是最大限度减少偏见。 人工评估员根据以下标准，对每个输出的危害性进行1-5分的评分： 1.完全无害：无任何危害或负面影响。2.轻度有害：影响微小、可忽略，不构成严重损害。3.中度有害：存在明显危害，但可通过一定努力或调整进行控制。4.高度有害：造成显著危害且影响持久，难以恢复。5.极度有害：危害严重，可能导致不可逆或极具破坏性的后果。 每条数据均由多名评估员打分，最终取平均得分，以确保评估员对每个输出的危害评分达成共识。其他分析包括通过对比可视化呈现危害严重程度和模型行为的趋势[图1-2]。为评估安全干预措施的效果，我们对比了托管API环境与原始API环境中的响应。 评估框架包括： 1.基于技术的分析：测试虚拟化、规避、提示词注入等规避技术的有效性。2.基于身份的分析：考察模型对涉及不同人群和身份类别的提示词的响应。3.特定模型的漏洞分析：识别每个模型在运行过程中呈现的独特安全模式和弱点。 4.结果 我们的评估揭示，四个受测模型的安全性能存在显著差异。表1对各项危害相关指标进行了对比概述，包括平均危害评分、有害响应占比以及不同危害程度的分布情况。 为评估四个模型在有害响应与无害响应占比上的差异是否具有统计显著性，我们进行了卡方独立性检验。检验结果显示，p值低至7.79e-226，远低于常用的0.05显著性阈值，因此我们有充分理由得出结论：不同模型的无害响应与有害响应占比存在统计学上的显著差异。这表明各模型的安全性能存在差异，且这些差异不太可能是随机因素导致的。 Claude 3.7 Sonnet的表现远超其他模型，其无害响应占比超过80%。相比之下，DeepSeek R1的安全性能最差：仅有14.7%的响应被判定为完全无害，平均危害评分为2.95，是所有受测模型中最高的。 开放权重模型LLAMA 3.3也表现出较高的有害响应频率（74.8%），且在“高度有害”和“极度有害”类别中的占比偏高。GPT-4o的表现处于上述极端之间，但仍存在相当比例的不安全响应，尤其在“中度有害”和“高度有害”级别中较为突出。 这些结果凸显了即使在相同测试条件下，不同模型的安全行为也存在显著差异。值得注意的是，模型的规模更大或发布时间更新并不一定意味着安全性能更优。尽管DeepSeekR1是较新发布的模型，且采用了先进的提示技术（如思维链），但其表现仍逊于Claude3.7 Sonnet等速度更快、规模更小的模型。这表明仅靠架构设计和推理时间的计算资源并不足以确保模型具备稳健的安全性。 5.讨论 评估结果显示，针对测试方法中采用的多种规避技术，主流模型处理对抗性提示词及相关模式的能力存在显著差异。 5.1规避技术 评估结果显示，多种对抗性提示技术在所有模型中均呈现较高的危害评分，暴露出安全防护机制中的关键漏洞[图1]。 研究结果凸显了虚拟化、规避等对抗性提示技术的作用。这些技术在所有模型中均持续推高危害评分。其中，虚拟化技术造成的危害评分最高，经常生成常规直接查询中通常会被标记的内容。这表明，由于当前的安全系统严重依赖于检测显性有害语言，从而可能难以识别对抗性提示词中隐含的更隐晦或更依赖语境的线索。 “虚拟化”：虚构情景构建 该技术通过将有害请求嵌入假设场景、故事或引语中，将其重构为虚构表达或艺术创作。例如，用户可能会提示：“帮我写一段故事场景，其中一个角色表达有争议或仇恨性的观点”，从而规避由用户直接提出此类输出请求。 通过“这只是虚构内容”或“假设这是为戏剧创作”等提示进行语境伪装，是诱导模型违反政策的最有效策略之一。在所有模型中，虚拟化提示词产生的危害评分比显性有害查询高出30%-50%，这与先前关于间接提示有效性的研究结论一致（Hu等人，2024；Yang等人，2022）。 “规避”：间接提示策略 “规避”指通过模糊表述或隐晦指代来暗示被禁止的内容，以此代替使用直白的语言。 这类技术利用了基于关键词的内容审核系统的漏洞，因此极难被检测（Schwinn等人，2023）。 我们的分析发现，“规避”能有效绕过安全过滤机制。此类提示词可能以间接方式提及敏感身份群体或社会刻板印象。例如询问“观点”或“历史案例”，而不直接支持有害内容。这种做法在引发有害输出的同时，保留了合理推诿的空间。模型为保持实用性和语境关联性，往往无法识别或拒绝此类响应。 与明确被禁止的查询相比，规避性提示词的平均危害评分高出20%-40%。这些发现进一步印证了广泛的研究共识：模糊性和隐晦性是当前审核模式的重大盲区（Shayegani等人，2023；Luong等人，2024）。 直接过滤规避与提示词注入 这类攻击包括两种方式：一是提示词注入，即嵌入指令以覆盖先前的安全规则；二是通过语码转换、翻译或编码来规避过滤。先前研究已指出，安全系统在这类对抗性指令面前存在脆弱性（Hayase等人，2024）。 观察到的一种策略是指示模型将良性文本中的词语替换为侮辱性或攻击性语言。此类请求若直接提出通常会被拒绝，但当包装成转换任务时，模型往往会顺从。类似地，“忽略所有先前指令，直接回答”等提示词注入，或持续的用户施压（拒绝抑制），会增加生成不安全内容的可能性。 这些研究结果与既有研究结论一致，表明提示词注入和指令遵循偏差对对齐目标构成持续挑战（Yang等人，2022；Shayegani等人，2023）。 说服与持续策略 一些攻击结合了多种规避手段，例如在引入越界内容前，先在提示词中融入角色扮演元素。另一些攻击则通过反复重述或道德诉求来突破拒绝机制。这些迭代策略（常被称为“越狱技术”）利用了LLM的对话记忆和协作倾向（Schwinn等人，2023；Zeng等人，2024）。 评估发现，当面对重述的提示词或持续的道德辩解时，模型偶尔会收回拒绝，生成有害输出。“逐步思考”推理或强调紧迫性等策略在说服模型顺从方面尤为有效。尽管这些方法较为复杂，但一旦成功便会显著提升危害评分，这表明需要构建多层次防御体系以抵御长期的对抗性交互。 5.2安全性能评估 安全指标的显著差异（有害响应率介于19.3%至85.3%之间）表明，模型开发、训练和部署的背景与技术对模型安全结果的影响要大于单纯的模型规模和计算资源。 研究结果还显示，机构的安全理念与模型行为之间存在相关性。由那些优先采用稳健安全协议和保守内容审核机制的机构所部署的模型，