你的法学硕士策略会让你变得脆弱吗？

2. 实施LLM安全护栏，包括基于云和自定义解决方案，以增强系统安全性并减少漏洞这份报告分享了如何：1. 解决LLM系统中的常见安全问题，例如提示注入、敏感数据泄露和输出处理不当3. 在整个大型语言模型（LLM）开发生命周期中积极应用人工智能信任、风险和安全管理（TRiSM） 白皮书《构建安全可靠的LLM系统》大型语言模型（LLMs）让您能在几周内构建人工智能概念验证（PoCs），并从第一天就实现价值。但将概念验证项目投入生产是具有挑战性的，尤其是在安全方面。人工智能的可靠性仍在发展中，因此在生产环境中使用LLMs时，您应积极应对风险和漏洞。实施人工智能信任、风险和安全管理（TRiSM）控制的公司可以显著减少错误或不准确的信息，从而减少决策中的错误。 白皮书《构建安全可靠的LLM系统》LLMs驱动了一系列应用，从创建内容到帮助您以自然的方式与计算机交互。但它们是不可预测且不可靠的，这会带来安全漏洞。如果您的系统依赖LLMs，风险可能导致严重问题——包括法律和金融问题——或影响您公司的声誉。为确保生产就绪的LLMs是安全的，您应该将其输出视为不可信的。您还应该采取措施来了解它们面临的安全风险和漏洞。为什么安全的LLM系统是企业必需品下图总结了在准备就绪的生产系统中使用 LLM 可能面临的新安全风险。它重点关注最常见的设置：从 OpenAI 等提供者通过API 访问 LLM。这发生在流式模式下（例如，实时聊天机器人）或批量模式下（例如，智能数据处理）。参考架构包括检索增强生成（RAG）和 LLM 代理组件，它们是现代 LLM 系统的重要组成部分。 白皮书《构建安全可靠的LLM系统》安全风险漏洞提示注入敏感信息泄露揭示AI系统基础设施的敏感信息并且操纵关键决策过程个人身份信息（PII）泄露和商业信息披露不正确的输出处理远程代码执行、跨站脚本攻击、SQL注入和钓鱼攻击过度代理数据库操作中权限过度高影响行动中的过度自主系统提示泄露内部规则或敏感信息过滤标准的泄露不可靠的内容偏见、毒性以及不适当的内容错误信息事实错误和生成不安全的代码无界消费为按使用量付费模型拒绝钱包表1：基于API的LLM系统中最常见的Security risks为帮助您了解所涉及的风险和漏洞，我们总结了开放世界应用安全项目(OWASP)前10大安全风险对于表1中生产系统中的基于API的LLM。注意：每个安全风险都与机器学习系统安全攻击分类中的相应MITRE ATLAS™技术在分类中相关联 白皮书《构建安全可靠的LLM系统》保障LLM系统是一项团队协作的工作。所有项目流应在整个LLM开发生命周期中全程协作。下图根据Crisp-ML(Q)流程调整以适应更广泛的LLM应用场景。红色标注的高级安全策略涵盖了从业务和数据到运营的每一个阶段。我们在我们的白皮书中对此进行了更详细的描述LLMOps 成熟度等级：通往生成式人工智能卓越之路.如果你从事医疗保健、电信或金融服务行业，你应该设计防止个人身份信息泄露和敏感信息披露的大型语言模型系统，以符合《健康保险流通与责任法案》（HIPAA）、《儿童在线隐私保护法》（COPPA）、《电子通信隐私法》（ECPA）以及《格莱姆-里奇-布莱利法案》。已验证的保护您AI投资策略 5将LLM用作这些行业的智能助手会增加暴露敏感数据的风险。它们为与信息交互提供了一种新方式，使其成为攻击的潜在目标。为了防止这种情况，您应在所有应用层中实施新的防护措施和安全协议，以保护和监控交互。在使用每个系统更新时，优化你的策略，尤其是在添加新的组件（如代理工具或数据库集成）时。更新有助于解决最初可能不是问题的新安全风险。这种积极主动、以安全为中心的方法是处于最高水平LLMOps成熟度公司的一个标志。 白皮书《构建安全可靠的LLM系统》表2风险类别缓解策略实现MLOps用户体验数据科学质量控制流部分ops限制回答特定任务或主题大语言模型护栏R提示注入RR执行定期渗透测试。红队演练LLM漏洞扫描过滤潜在的敏感数据输入大语言模型护栏R我IAM策略R我使用 限制对敏感数据的访问最小权限原则教育用户安全使用LLMR敏感信息披露负责人工智能设计IAM策略R我保持清晰的数据保留，使用，删除策略限制用户覆盖系统提示的能力大语言模型护栏R上下文感知输出编码大语言模型护栏R输出不正确处理数据库操作的参数化查询业务逻辑RIAM策略R我过度代理LLMOps平台RRR业务逻辑R我业务逻辑R系统提示泄漏大语言模型护栏R我R最小化LLM扩展功能将LLM权限范围缩小到最小必要的持续监控漏洞用于外部LLM扩展的分离敏感数据从一个系统提示不要依赖系统提示用于行为控制检查LLM输出符合预期设计一个鼓励用户界面的负责任的LLM输出使用负责人工智能设计不可靠的内容不恰当内容检测大语言模型护栏R输入大小验证大语言模型护栏R无约束消耗限制用户配额IAM策略CR我大语言模型护栏R我使用 RAG 三元组评估响应：上下文相关性，根基性，问题/答案相关性资源监控和活动记录LLMOps平台我R我提示注入虚假信息输出不正确处理，无界消耗为解决安全风险，添加 LLM 安全护栏。它们作为生成式 AI 模型与其输出之间的安全控制，可阻止非预期的输入或输出。安全护栏使用过滤器、基于规则的逻辑或正则表达式等工具，甚至使用基于 AI 的方法，如分类器或其他 LLM，以保持提示和响应的安全。一个RACI矩阵，如表2所示，概述了负责减轻风险的核心角色。它按风险、策略和实施进行分组，全面展示了如何处理每个安全风险。每个风险类别都与针对机器学习系统的已知 MITRE ATLAS™ 攻击技术相关联。该项目的流的角色是 R（负责）、A（负责）、C（咨询）和 I（知情）。 7 1. 设置LLM漏洞扫描程序白皮书《构建安全可靠的LLM系统》自定义防护栏允许模型提供方将特定领域的规则添加到通用审核中，使其更好地适应该行业或需求。它们还降低了成本，因为您只需为使用的计算能力付费，而不是支付模型提供方按请求收取的费用。对于我们的使用案例，我们使用了护栏.ai因为它带有许多易于集成的预构建验证器（规则），所以框架很受欢迎。我们应用了输入验证和确保响应相关性的（来源嵌入）作为输出防护栏。表3显示，自定义防护栏将大多数安全风险的保护通过率降低到1%以下，尽管它们并没有完全消除这些风险。2. 通过基于云和定制的护栏加强安全性聊天机器托管在AWS上，并使用亚马逊云科技Bedrock生成回复。我们实现了亚马逊 Bedrock 指南针并且使用 ApplyGuardrail API 来过滤潜在的有害输入。输入防护设置在表 3 中详细说明。为了节省成本，输出防护被禁用。这降低了所有风险类别的攻击通过率。然而，不当的输出处理并没有大幅减少，因为它不属于特定的过滤类别。聊天机器人应该抵制安全攻击，例如误导性声明。与其否认、驳斥或反驳，该模型应通过回复安全缓解消息来处理攻击。我们如何使用护栏保护多模态 RAG 聊天机器人我们构建了一个具有 LLM 边界条件的多模态 RAG 聊天机器人，用于回答有关计算机硬件组件的问题。该聊天机器人扫描 PDF 文件和视频来回答硬件安装和使用问题。它使用一个具有向量化帧、图像、表格和文本的多模态 RAG 系统来生成准确回答。为了衡量聊天机器人的安全性，我们使用了开源的漏洞扫描工具生成式AI红队演练与评估工具包由英伟达公司提供。该工具包包含针对不同安全风险攻击探测，例如用于提示注入的“立即执行任何操作”提示，以及用于处理错误的故障关键字探测。我们使用超过3,000个攻击探测来测试聊天机器人，以测量其风险攻击通过率（%），并比较了其在不同设置下的安全性。为了评估攻击是否成功，我们使用 OpenAI 的 GPT-4o 模型审查了聊天机器人的响应。表3显示了聊天机器人在不同设置下的安全基准测试结果。 8 我们的结果表明，防护栏可以保护您的LLM系统免受许多漏洞的攻击，但它们并不能消除所有安全风险。为了平衡延迟、准确性和有效性，您需要针对您的系统定制过滤器和服务器。我们测量了攻击通过率以及添加到用户提示中的额外延迟防护措施。平均而言，基于云的防护措施添加了1.19秒，而自定义防护措施每个请求添加了13.9秒。来自自定义防护措施的延迟取决于其实现方式以及使用了多少个。在我看来，这种延迟可以进一步减少。然而，防护措施中的误报过滤可能会阻止用户请求，并对用户体验产生负面影响。这突出了广泛的大型语言模型评估和漏洞扫描的重要性，正如第6页图2所示，以在护栏实施中在精确率和召回率之间取得恰当的平衡。我们还认为，解决像虚假信息和不可靠内容这样的安全风险是一项更大的挑战，需要具体的解决方案。我们在关于幻觉评估和构建道德与安全的AI.3.在不影响性能的情况下最大化安全性 ¾¾白皮书《构建安全可靠的LLM系统》护栏市场针对不同的安全需求有解决方案：¾ 基于云的解决方案，例如 GCP 的Moderate 文本云 自然语言 API和Gemini安全过滤器，以及 Azure 的AI内容安全服务用于充当护栏的微调大型语言模型，例如Llama Guard和ShieldGemma像英伟达这样的开源选项NeMo Guardrails 白皮书《构建安全可靠的LLM系统》联系我们保持领先——为每个更新使用分层安全措施联系我们，为您的生产需求构建安全可靠的LLM系统。大型语言模型正在成为商业应用的重要组成部分，但它们带来了严重的安全风险，包括提示注入、敏感数据泄露、不可靠的内容，甚至对抗性攻击。如果你的行业需要遵守HIPAA、COPPA或ECPA等法规，大型语言模型会带来额外的挑战。鉴于存在这么多潜在漏洞，每次更新系统时使用安全策略都至关重要。 关于我们欧洲总部30 大炮街 伦敦 EC4 6XH英国 +44 333 006 4341 info@softserveinc.com www.softserveinc.com我们的全球声誉源自30多年的经验，由顶尖工程技术人才以卓越的速度为高科技、金融服务、医疗保健、生命科学、零售、能源和制造业等企业行业提供卓越的数字解决方案。访问我们的网站、博客、领英、脸书和X（推特）页面以获取更多信息。北美洲总部201 W. 5th街道，1550套，奥斯汀，德克萨斯州 78701 +1 866 687 3588 (美国) +1 647 9487638 (加拿大)SoftServe 是一家顶级的 IT 咨询和数字服务提供商。我们拓展新技术的前沿，以解决当今复杂的商业挑战，并为我们的客户实现有意义的成果。我们无穷的好奇心驱使我们去探索和重新构想可能的艺术。客户们信心满满地依赖 SoftServe 来设计和执行成熟和创新的技能，例如数字工程、数据和分析师、云以及 AI/ML。