Proxy AI White Paper

ATARC代理人工智能工作组代理人工智能白皮书 致谢 Anthony Boese，ATARC 工作组成员 Brian Peretti KJ Lian，AWS David Egts，Salesforce Henry Sienkiewicz，乔治城大学 Dr. Joseph “Lucky” Ronzio Jim St. Clair，C3HIE Chris Oakleaf，退伍军人事务部 Connor Turpin，美国空军 Nicholas Rappold，国家气象服务 John Sprague，国家航空航天局 Enrico Pontelli，新墨西哥州立大学 Howard Rosen，Nova Insights Corp，HIMSS Mun-Wai Hon，联邦航空管理局 Anil ‘Neil’ Chaudhry，美国交通部人工智能高级顾问 免责声明 本文件由ATARC代理人工智能工作组成员以个人身份编制。其中表达的观点和意见均为作者个人观点，并不代表任何个人组织、雇主、机构或关联实体的官方政策或立场。本文件公开发布，供公众使用和分发。可以无限制地分享、引用和复制，但不得用于商业广告、营销或产品推荐目的。本文件中的任何内容均不应被解读为对任何特定技术、供应商、产品或服务的认可。 executive summary ATARC的使命是将学术界、工业界和政府联合起来，共同应对信息技术现代化和新兴技术应用中的挑战。人工智能演变的下一阶段是代理人工智能——这类系统被赋予目标和与周围世界互动的能力，能够制定计划并采取行动以实现目标。代理人工智能的未来是变革性的；它们利用工具、采取行动、反思性能以及管理短期和长期记忆的能力将开启自动化新时代。多代理系统通过整合外部知识、减轻幻觉并增强安全性来扩展基础模型的影响力。这些进步不仅仅是渐进的，它们代表了我们交互和利用人工智能方式的一次根本性转变。 本文概述了代理人工智能、用例、风险框架、治理和最佳实践。重点关注领域包括： 1. 建立和实施围绕代理型人工智能使用的护栏，2. 确保这些系统的安全和伦理应用，3. 保护其硬件、软件和发展数据的“供应链”。 引言 - 什么是代理型人工智能以及为什么它很重要？ 1.1 什么是代理型人工智能？ 代理式人工智能代表着人工智能的下一个发展阶段，能够在现实世界中独立设定目标、做出决策和采取行动的系统。使代理式人工智能与众不同的是，它凭借自己的权威行事，超越了仅仅响应提示的传统人工智能。虽然传统人工智能系统本质上只是响应者，但代理式人工智能专注于做出决策，而不仅仅是生成内容。这些系统可以感知其环境，规划多步骤解决方案，并自主执行任务，所需人工干预最少。 生成式AI、AI代理和代理式AI代表了人工智能能力的渐进式演变。生成式AI系统，如ChatGPT、Claude、Grok和Gemini，旨在根据提示创建文本、图像、音频或视频内容，作为对人类输入的被动响应者。虽然它们是强大的内容创造者，但它们本质上仍然是反应性的。代理式AI通过从内容生成转向自主决策，超越了这个限制，使系统能够不仅响应，而且主动规划、推理并采取行动以实现既定目标。 AI智能体通过将感知、处理和对其环境做出反应的能力纳入到一个连续的决策、行动、反馈处理和学习循环中，推进了这个概念。这些系统利用感知、处理和行动组件与周围环境互动。在AI发展的前沿，智能体AI建立在生成式AI和AI智能体能力的基础上，增加了对外部系统的语义理解、自主决策和目标导向行为。智能体AI通过其主动角色、持续学习和独立实现复杂目标的能力脱颖而出。这种高级AI形式不仅是一个工具，更是一个认知协作伙伴，需要强大的治理以确保与人类价值观相一致。从生成式AI到AI智能体再到智能体AI的演变，代表了从内容创作到感知和行动，最终到具有语义理解的自主目标导向行为的转变。 一个代理人工智能系统的基石是几个集成组件。它始于感知：系统从传感器或数字输入收集数据，以评估其环境的当前状态。这些信息与记忆和积累的背景信息一起处理，以发展对形势的操作性理解。然后系统进行推理，评估潜在行为，制定计划，并执行决策——通过软件API、数字平台或物理执行器与世界交互。关键的是，它结合了结果反馈，随着时间的推移调整其行为，通过迭代学习提高其性能。 本质上区分代理人工智能的是这种持续的决策-行动-反馈循环。它并非作为被动的响应者而存在，而是一个以实现复杂、往往不断变化的目标为目标的自主系统。这种自主性需要强大的政策和治理机制，以确保系统始终与人类价值观、伦理标准和公众福祉保持一致。当设计和治理得当，代理人工智能不仅可能成为一种工具，更可能成为一种认知合作伙伴——提升人类智能、创造力和负责任进步的能力。 1.2 什么是代理人工智能系统？ 具有能动性的AI系统被定义为它们能够自主运行、与环境互动、做出决策并采取行动以实现指定目标的能力。 1.2.1 自主决策 智能体AI可以分析情况、权衡可能的结果并独立做出决定，无需人工干预。它使用先进的推理模型来评估多个因素、预测后果并选择最佳行动方案。 示例：人工智能安全系统可以检测入侵、评估威胁严重程度，并在人类分析师做出反应之前自主隔离受损害的系统、阻断恶意流量或部署对策。 1.2.2 以目标为导向的问题解决 与专注于生成内容的生成式AI不同，代理式AI旨在通过将复杂问题分解为子目标、优先处理任务和动态调整策略来实现特定目标。预训练的大型语言模型（LLMs）和AI模型构成了代理的推理、决策和自然语言处理能力的基础。 示例：仓库中的自主机器人助手根据实时库存数据调整路线和工作流程，确保高效完成订单。 1.2.3 环境适应与学习 智能体AI持续从其环境中学习，不断更新其模型以改善性能。这种自我提升的能力使它能适应未预见的挑战并优化操作。示例：人工智能驱动的客户服务机器人根据用户互动优化回复，提高其准确解决询问的能力。 1.2.4 多步规划与执行 代理智能体不仅响应单独的指令；它还会发展并执行多步骤计划。它根据可用数据和工具制定策略，然后监督进度并相应地调整行动。示例：人工智能驱动的个人助理管理日程，预测冲突，并主动重新安排会议，同时考虑用户偏好。 1.2.5 自发行为 与传统的自动化不同，具有代理能力的AI通过识别需要采取行动的任务而主动行动。它会在用户甚至察觉到问题之前主动解决潜在的问题。 示例：人工智能驱动的网络安全系统可检测漏洞并自主修补安全漏洞，以预防泄露。 代理人工智能可以利用先进的神经网络（ANN）来增强其自主决策能力、适应动态环境以及解决复杂问题的能力。以下是网络发挥作用的方式： 1.2.5.1. 从数据中学习模式 解释：神经网络从数据中学习了层叠模式，帮助人工智能在没有明确编程的情况下理解变量之间的复杂关系。 示例：在人工智能驱动的欺诈检测系统中，网络可以识别交易历史中的微妙模式，使得人工智能能够主动在欺诈发生前标记潜在的欺诈行为。 1.2.5.2 在不确定性下做出决定 解释：这些网络使用基于概率的推理，使得它们非常适合在结果不确定的情况下使用。智能体AI利用这一能力来权衡多种情景，并作出最佳决策。 示例：在自动驾驶车辆中，网络帮助预测行人行动和交通状况，使AI能够作出实时驾驶决策。 1.2.5.3. 无标签的学习 解释：网络无需依赖预先标记的示例即可从数据中学习，这使得它们在训练数据有限时非常有价值。代理式人工智能可以利用这一点，通过适应新环境来不断改进。 示例：医院环境中的机器人助手随着时间的推移学习患者的偏好，相应地调整其反应和行为，无需明确的人类培训。 1.2.5.4. 提前规划多步 解释：自主人工智能利用这些网络分析动作序列、预测未来状态，并据此规划。这使得它能够在最少的 human supervision 下执行复杂的多步骤任务。示例：自主机器人助手识别库存水平的变化，并调整其工作流程，以支持高效的订单履行。 先进的神经网络为具有强大学习和推理能力的智能体AI提供了支持，使其在自主和适应性问题解决中更加有效。 1.3 为什么代理人工智能系统对政府来说很重要？ 1.3.1 政府中代理式AI的益处 代理型人工智能系统可以通过充当始终可用的工作流程伙伴，处理目前消耗大量临床和行政时间的重复性、协调密集型任务，为公共卫生带来显著价值。这些代理可以自动化资格审核、预约安排、就诊前病历准备和出院后随访等工作，涉及电子病历、呼叫中心和社区服务。结果是：临床医生和员工得以从文书工作中解放出来，专注于复杂护理和有意义的 人际联系。 在系统层面，网络化的代理使公共卫生机构能够监测人口层面的信号，更早地识别处于风险中的人群（如脆弱的老年人），并在多个渠道上协调外展工作。这提高了获取和公平性，同时更有效地利用现有的人力资源能力。 重要的是，这些系统在受监管的工作流程中运行，包括明确的人类监督、全面的可审计性和围绕数据最小化、个人健康信息（PHI）处理和可追溯性的强大保障。这为政府提供了一条可信的途径，以在保持公众信任、安全和问责制的同时，现代化公共卫生和社会护理的提供。 1.3.2 可能的风险和担忧 然而，在政府环境中，代理型人工智能也带来了显著的风险，错误可能会直接影响公民服务和扰乱日常运营。此外，当AI代理独立做出有害决策时，也出现了责任归属的挑战：责任是编程人员、机构，还是AI本身不明确。另外，外国对手可能操纵或黑客这些系统，以扰乱政府运营、故意提供虚假信息或窃取敏感信息。 1.4 联邦政府用例与应用 近年来涌现并迅速发展的众多人工智能版本表明，人们对利用人工智能以及实现这一目标的多种方式表现出了极大兴趣。代理人工智能也不例外；大多数非代理人工智能应用都可以由代理人工智能完成——很多时候效果更好——并且代理人工智能能够完成其他人工智能系统无法完成的事情。一些用例和应用似乎特别重要且及时，尤其是在政府背景下。本文的讨论重点集中在与联邦政府相关的用例，因为这是我们工作小组章程的焦点。对于对商业、学术或非营利用例感兴趣的人来说，本文讨论的许多因素与这些其他环境直接相关。 1.4.1 提供政府服务 人工智能可以提升政府服务的质量、可及性和响应速度。早期应用可以包括通过虚拟助手实现全天候的公民支持，其中人工智能驱动的聊天机器人和语音代理可以处理大量常规咨询，以及通过流程简化来处理申请，人工智能工具可以筛选和处理许可证、社会福利或补助金申请，通过提取关键数据、验证文件和标记异常。此外，更复杂的应用可以包括个性化公民参与和人工智能屏幕进行欺诈检测和风险评估。更复杂的应用，人工智能模型可以提供政策见解，作为工具分析来自各个部门的数据来预测需求、评估项目影响和支持数据驱动的决策。机器学习模型可以分析数据来预测福利的资格和需求。在更广泛的范围内，随着这些改进效果的实现，人工智能代理可以利用持续更新的分析优化政府服务的提供。 1.4.2 政府运作 除了直接服务于公民外，代理人工智能还可以改变政府幕后运作的实际方式，通过自动化消耗大量时间和资源的复杂内部操作。这些智能代理可以持续监控成千上万的联邦承包商的合规性，自动标记潜在违规行为，并在多个机构之间协调调查，无需人为干预。它们还可以通过分析大量研究、公众意见和来自各种来源的数据，以识别政策差距、预测拟议法规的结果，甚至起草供人类审查的初步政策语言，从而彻底改变政策发展。在预算规划方面，代理人工智能可以动态跟踪各部门的开支，识别节约成本的机会，并根据变化的优先顺序实时重新分配资源。 紧急情况。也许最重要的是，这些系统可以作为不同政府部门之间的智能协调器，通过自动共享相关数据、识别重叠任务和促进跨多个部门的复杂问题协作——最终使联邦政府在治理的核心使命上更加高效、反应迅速和有效。 1.4.3 政府工作人员影响 随着政府和社会人口结构的转变，包括老龄化劳动力、招聘挑战和公民期望的变化，将需要加快采用代理人工智能系统来解决关键的劳动力短缺问题，并保持联邦机构的运营能力。随着人工智