AI安全：构建负责任且可靠的系统

AI安全：构建负责任且可靠的系统 AI安全：构建负责任且可靠的系统 版权所有 © Appen 2024 ‒ 保留所有权利 目录 AI安全：构建负责任且可靠的系统 介绍 4 AI安全的关键利益相关者5 1. 云计算服务提供商5 3. 企业负责人和运营者6 示例：AI在关键基础设施领域的应用7 第1阶段：开发 8 在AI开发中采用安全设计方法8优先选择高质量的数据源9AI训练数据源9AI训练数据最佳实践12示例：AI在教育领域的应用13 第2阶段：部署 14 监督与反馈机制14示例：AI在医疗领域的应用16 第3阶段：应用 18 确保应用中AI安全的最佳实践18AI全球化：确保多语言系统的安全性20示例：AI在心理健康领域的应用21 风险管理策略 22 示例：AI在法律领域的应用24 结语 关于作者关于澳鹏 2526 来源 引言 AI已成为日常生活中一种无处不在的助力。随着AI系统在能力和普及性上的不断扩展，安全因素变得愈发重要。安全的概念可能难以定义；然而，在AI的背景下，对安全最充分的理解就是要防止意外后果的发生。另一方面，AI安全着重于保护系统本身免受外部威胁，例如一些网络攻击或内部错误可能导致严重故障，因此应纳入安全问题的考虑范畴。从基础模型的构建者到采用AI解决方案的企业，在整个AI生命周期中所有相关方必须共同承担责任，最大程度地降低这一新兴技术的风险并确保尽可能安全地加以利用。 AI安全= 意味着要预防意外产生的后果，例如防止幻觉或模型偏见影响最终用户的健康和福祉。 AI安全= 意味着要保护AI系统免受威胁，如网络攻击和系统内部错误，这些威胁可能导致系统运行中断或严重事故。 AI安全问题会给企业带来风险，包括法律和财务责任，以及对人类造成从轻微不便到生命损失等各种后果。例如，基于偏见和不可靠数据集训练的大语言模型(LLM)更有可能提供不准确和有害的输出，对最终用户产生不利影响。尽管AI安全的具体实践在各类应用和各行各业中有所不同，但其基本原则始终如一：AI系统应通过积极追求符合伦理道德且可持续的AI最佳实践，最大限度地降低对个人、企业乃至全球造成伤害的风险。在本电子书中，我们将全面探讨AI在其生命周期中面临的安全挑战及解决方案，并深入分析如何在医疗和法律等高风险行业中应用这些原则。 AI安全的关键利益相关者 在深入探讨AI安全的复杂性之前，首先需要了解主要参与者及其角色。在AI的整个生命周期中，从最初的数据采集到模型优化，安全最佳实践是众多个人和企业的共同责任。 1. 云计算服务提供商 云计算服务提供商是AI的支柱，他们提供了构建强大AI系统所需的基础设施。他们的首要任务应是采取严格的供应商审查、权限管理和物理安全措施来维护AI的安全。 •角色：提供基础的AI计算资源。 •责任： •审查软硬件供应商。•确保实施严格的权限管理和物理安全措施。•实施可靠的网络安全措施，以保护AI系统。 2. 模型构建者 虽然云计算服务提供商负责保护AI系统所依赖的硬件和基础设施，但模型构建者才是所有企业和行业中确保AI实践符合安全要求与道德准则的基础。安全实践应考虑模型的实施方式，并与最终用户保持一致，因为为内部使用构建的模型与作为软件解决方案对外销售的模型存在不同的漏洞。 •角色：开发和训练AI模型。 •责任： •采用安全设计方法。 •测试漏洞和潜在危险功能。 3. 企业负责人和运营者 一旦AI系统为实施准备就绪，企业负责人和运营者将承担起将这些系统安全地整合到其业务中的责任。在企业层面上，AI安全需要实施负责任的AI系统管理以及与提供者的开放式沟通。 •角色：部署和维护支持AI的系统。 •责任： •建立用户测试和红队测试工作流程，以评估模型的安全性。•与模型构建者分享反馈，以长时间持续改进模型。•保护用户数据隐私，确保AI使用方面的透明度。 《AI全景报告2024》 •自2023年以来，各行业生成式AI的采用率增长了17%，这凸显了采取严格安全措施的必要性，以降低AI生成内容带来的风险。 •41%的企业依赖自定义数据采集，报告显示，通过确保数据集的多样性和代表性，在应对模型偏见和可靠性问题方面取得了改进。 •80%的企业报告称，人类洞察力是优化AI系统的关键，强调数据多样性、减少偏见和可扩展性是确保AI安全性和有效性的关键因素。 •86%的企业至少每季度重新训练或更新一次其机器学习模型，这凸显了持续反馈循环在数据治理和模型评估中的重要性。 《澳鹏AI全景报告2024》 示例：AI在关键基础设施中的应用 在最近的报告中，美国政府提出了关于在AI生命周期如何应对安全挑战的建议框架（Atanda，2024年，美国国土安全部，2024年）。这些框架详细阐述了现有的AI安全知识，涵盖了国防和关键基础设施等行业，这些领域中与AI故障相关的风险极高。 AI系统有可能彻底改变一些关键基础设施。但是，由于数百万人依赖于邮政、电网和水处理等基础设施服务，技术上的失误可能带来灾难性的后果。 AI在关键基础设施领域的应用具有以下优势： •利用AI驱动的威胁检测，例如AI计算机视觉技术，促进机场和体育赛事的安检，以提升公共安全并降低风险。•通过分析历史和实时数据中的模式，使LLM能够模拟潜在的网络攻击，提出应对措施，并加强基础设施以抵御数字威胁。•实时生成详细的基础设施异常或故障报告，用于预防危机和实施快速应急响应，例如应对电网停电或扑灭山火等。 在关键基础设施领域实施AI需考虑以下风险： •AI工具，如面部识别软件，如果使用不平衡或带有偏见的数据进行训练，可能会对用户产生负面影响，尤其会对边缘化群体造成严重的影响（Lopez，2024年）。 •AI系统的错误可能导致大面积基础设施服务中断，例如水处理设施或邮件递送等关键服务的停摆。 •不法分子可能利用AI制造日益复杂的网络攻击。管理基础设施的AI系统也可能成为攻击目标，发生服务中断或安全数据遭到窃取。 第1阶段：发展 AI安全始于模型开发的最早阶段，远在AI系统进入市场之前。从基础设施到软件开发全程奠定坚实的安全基础，为AI系统的成功部署和应用做好准备。 在AI开发中采用安全设计方法 在模型创建过程中实施安全设计实践是从一开始就构建安全AI系统的最佳方式。将伦理道德和安全因素融入模型开发过程，使开发者能够构建出稳健可靠、值得信赖的AI系统。 1. 评估风险：进行全面的风险评估，以识别AI生态系统基础设施和模型架构中的潜在漏洞。 2. 预先考虑伦理问题：使用多样化、高质量且代表目标应用场景的数据训练基础模型，主动解决模型偏见和有害能力问题。 3. 建立安全的供应链：仔细审查数据提供者（如数据中心），以确保其实施严格的权限管理和物理安全协议。 4. 构建韧性：设计模型时需考虑对抗性攻击和网络安全威胁。强大的质量保证和透明的模型推理技术，例如思维链提示，也可最大限度地减少AI输出不准确或有害内容的风险。 5. 持续改进以适应变化：将定期测试、更新和模型优化纳入工作流程，以应对不断变化的威胁和用户需求。 95%的IT决策者表示，选择合适的数据合作伙伴对于模型的成功部署至关重要。 《澳鹏AI全景报告2024》 优先选择高质量的数据源 在AI整个生命周期中，应始终重视安全，而数据在确保最终用户安全以及降低模型构建者责任风险方面起着至关重要的作用。AI训练数据对于模型开发至关重要，它决定了模型的学习效果和功能表现。在为AI模型获取数据时，有几种选择可供考虑，每种选择都有其优缺点。 AI训练数据源 网络抓取数据 在AI生命周期中，使用网络抓取数据训练AI模型会引入多重风险。抓取网络数据以无与伦比的效率产生数百万个数据点；然而，这些数据是从在线来源不加选择地提取的，很可能包含不准确、有害和受版权保护的内容。未经仔细清理和评估的网络抓取数据集可能包含有问题的内容。例如，网络抓取数据集可能包含个人身份信息（PII），这会使个人和企业面临泄露隐私的风险，同时还会传播错误信息，这会导致严重后果，例如提供不准确的医疗建议。 此外，网络抓取数据通常包含受版权保护的作品，如小说和艺术作品，这可能使模型构建者面临法律责任（例如，Alter诉OpenAI案）。公共领域的数据由于版权已过期或创作作品不符合资格，可以用于模型训练，法律风险极低。然而，对于这些数据集，仍需仔细评估是否存在偏见和有害内容，以确保模型行为符合较高伦理道德标准。例如，公共领域的文学作品常常反映过时的社会规范，这可能会促使模型延续有害的刻板印象和语言（Vassel，2024年）。 网络抓取数据是通用的。所有模型构建者都能访问这些资源，生成的数据集很少针对特定领域或用例进行定制。使用数据来训练模型时，如果这些数据无法反映其预期应用的细微差别和复杂性，可能会导致模型表现不佳。虽然网络抓取数据为满足AI训练数据的高需求提供了一种经济高效的解决方案，但是模型构建者在使用这些数据集时应保持谨慎，从而减轻对业务、终端用户以及数据来源构成的AI安全风险。 人工生成数据 人工生成数据通常被认为质量最高，因为它可能经过精心制作和优化，以准确代表最终用户和应用的具体需求。人类专业知识可用于采集和整理各种用例的新数据集，从训练新语言的语音识别到通过人类偏好排名评估多模态模型的输出。然而，维持高质量的AI数据流程面临着诸多挑战，其中包括质量与数量之间的持续矛盾。生成大量数据可能需要耗费大量时间，而且维护成本高昂。 投资获取具有多样化和代表性的人工生成数据集，是促进AI公平性和包容性的最佳途径之一，同时也能最大限度地减少因模型偏见带来的安全风险。虽然人工生成数据通常比网络抓取数据或合成数据更昂贵而且更耗时，但是模型构建者通过使用网络抓取数据节省的资源，最终会因模型性能不佳、最终用户安全风险增加、知识产权侵权以及PII泄露等问题而付出代价。例如，人工生成数据的一大优势是能够为不易获取的领域和数据类型创建新的数据集，例如稀有或不常见语言的机器翻译。通过人类监督创建具有多样性和代表性的数据集，使模型构建者能够使用相关数据来训练模型，这些数据可更准确地反映现实场景的细微差别，并降低模型产生幻觉或有害输出的风险。 仅使用AI生成的数据训练的模型在原始数据分布建模能力上表现出逐渐退化的趋势，到第九代时产生了无意义的输出，包括重复的短语和无意义的序列⸺这是模型崩溃的明显证据。（Shumailov等人，《自然》，2024年）。 合成数据 使用生成式AI创建数据集比网络抓取更经济高效，同时在版权侵权和数据偏见等方面的风险也更低。然而，在模型未经过充分训练的领域或语言中，合成数据很快就会表现出疲劳，重复现有模式而无法生成新的信息。对LLM使用其自身合成的数据进行递归训练可能导致模型崩溃，造成输出质量逐渐下降并强化错误（Shumailov，2024年）。因此，合成数据的最佳用途是通过利用生成式AI模型的模式识别能力来创建新的数据行，从而扩展现有数据集。 有些任务适合使用合成数据，而有些任务则不适合。例如，自然语言处理 (NLP)在新语言中的应用需要大量人工生成数据来训练精确的机器学习算法。另一方面，像优化模型的拼写检查能力这样的项目，可以利用合成数据以更少的资源实现与人工生成数据相似的效果。 在这种场景下，LLM可以在几秒钟内生成大量合成数据，然后可用于训练模型，使其更准确、更高效地识别拼写和语法错误。 虽然过度使用合成数据集可能会抑制AI的创新，但将合成数据与人工生成数据相结合，可以为大规模高质量的AI训练数据需求提供一个平衡的解决方案。使用合成数据补充人工生成数据集，提供了一种经济高效的方法来创建更大的模型训练数据集，与网络抓取解决方案相比，对最终用户和模型构建者构成的安全风险更低。 AI训练数据最佳实践 无论AI数据的来源如何，遵循以下最佳实践都有助于开发出优先考虑AI安全性的强大基础模型。 1. 透明的数据供应链