随着人工智能驱动的自主武器的使用越来越多，保护人类的道德能动性

由SteveSolano拍摄的照片基尔尼，芝加哥 保留人类道德能动性 ，随着人工智能驱动的自主武器使用量的增加 战争正在经历根本性变革，随着武装部队获得由人工智能（AI ）驱动的自主武器系统。这些技术承诺前所未有的精确度和作战效率，但也带来了复杂的法律和伦理困境，以前所未有的方式挑战着传统的军事行动。采用这些系统的势头正在增长，现在迫在眉睫的不是辩论它们的存在，而是如何在不影响核心原则和国际人道主义法（IHL）的遵守的情况下管理它们的采用 。 自主系统与其他武器截然不同 自主系统是交战方与其目标逐渐疏远的最新一步。从最早的手持武器到如今的这些系统，关于作战人员与道德距离以及其行为后果的问题始终存在。然而，人工智能驱动的系统通过可能将人类的道德能动性从立即决定杀戮中移除，呈现了巨大转变 。 在这一巨大挑战的核心，是正义战争理论的关键原则，这些原则假定在战场决策中的人的道德能动性。自主系统——在初始激活后能够自主选择和攻击目标而不需要直接人为干预的武器——削弱或减少了军事行动中的人为控制。因此，现在必须彻底重新评估战争是如何被概念化、授权、执行和协调的。 早期的先驱包括1980年代的Phalanx近战武器系统和1990年代以色列推出的Harpy无人机。它们具备有限的自主性，但保持了明确的作战边界。当代系统由人工智能、深度学习和传感器技术驱动，具备显著增强的能力，可以独立运作，减少人力监督，并在扩大的作战域内操作。 在本文中，我们探讨了决策者——包括政府、军队以及此类武器系统及相关人工智能技术的制造商——在自主武器系统方面所面临的四个问题： 然而，随着这些进步，也带来了对正义战争理论的新思考，以及为保护它并解决当今出现的道德和法律问题所需要的条件。 —这些系统如何挑战正义战争理论和其对人类道德能动性的支持？ ——现行法律存在哪些不足，以及它们如何削弱此类系统的问责制？ —武器系统日益自动化，“有意义的人类控制”是什么？ —国际组织、国家和私营部门现在可以采取哪些治理措施，来协调这项技术创新与战争的道德要求？ 现代时代的道德能动性 我们从回顾正义战争理论的三项原则及其在人类控制基础上的影响开始，探讨自主武器系统如何对这些原则产生影响。 歧视和比例性概念在自主战争中面临着严峻的挑战。人工智能系统虽然能够处理大量数据用于目标识别，但缺乏人类判断所提供的情境理解。这种缺陷在战斗人员和平民混杂的环境中会变得至关重要。 传统上，战争只能为了正义的目的而进行，在仔细权衡人力成本与军事必要性之后才能发动。自主武器从几种方式上破坏了这个进程。首先，它们通过降低对军事人员的直接风险，改变了战争的博弈计算，可能导致政治领袖在发动冲突时感知到更少的制约。这种趋势可能会侵蚀传统上在使用武力时所保持的克制。它也可能改变正义战争发起背后的道德计算. 算法偏见是最紧迫的担忧之一。人工智能系统从历史数据中学习，嵌入的偏见可能导致系统性靶向错误和对平民人口不成比例的伤害，违反了歧视的概念。 当前的人工智能目标系统难以区分战斗人员和平民。 他们的计算机视觉在城市杂乱的场景中难以处理此类基本任务. 所以即使先进人工智能系统的准确率也无法符合与国际人道法 相关的标准。 军事规划中的技术中心主义存在风险，因为政治领袖可能会优先考虑技术建议而非传统军事建议，尤其是在人工智能驱动的战争表明伤亡极小的情况下。 过度依赖技术可能会导致，用单纯的技术可行性评估取代了重要的道德和政治判断. 比例问题同样复杂。权衡军事优势与平民伤害是一项微妙的伦理判断，目前的AI系统尚无能力做出此类判断。与人类指挥官不同，它们无法理解附带损害的道德意义，也无法评估文化和社会背景。相反，比例性评估需要实践智慧（phronesis），而这一点无法简化为算法计算。 自主系统也可能鼓励有限冲突的扩散，在这种冲突中，技术先进的国家使用人工智能驱动的武器参与低强度冲突，而没有完全投入战争。感知如此系统能够执行干净的军事行动可能导致更频繁的干预，进一步破坏国际安全。这种现象造成了“永久性准战争”，从未达到需要民主监督或国际审查的阈值。 算法可解释性也必须被考虑。机器学习和深度神经网络作为黑箱运行，其决策过程难以解释或预测。这削弱了指挥官确保国际人道法合规性的能力，因为他们无法验证系统将在新颖情况下按预期运行，且其行为将保持在法律边界内。 最后，自主武器通过引入新的升级风险并削弱威慑，影响了大国之间的战略稳定。与核武器不同，自主系统可能在没有明确归属的情况下运行，可能会无意中引发升级循环。这种动态在存在重叠领土主张或代理冲突的地区尤为令人担忧，其中多个自主系统可能会不可预测地相互作用。 当今的法律框架及其局限性 退伍军人和军事领导人通常在塑造战后评估和和解中发挥重要作用。使用自主系统做出关键军事决策可能会增加社会处理战争的心理学和道德后果的斗争。 目前，国际人道法不包含对自主武器的规定。《日内瓦公约》第一号附加议定书第36条要求缔约国评估新武器是否符合国际法，但只有少数国家进行正式审查，引发了关于人工智能驱动武器无序扩散的担忧。 责任归属也可能变得模糊。战后正义取决于追究个人违反国际人道法的行为责任。自主系统将决策分配给各个参与者，包括程序员、军事指挥官和政策制定者，这使得对战争罪行或非意愿平民伤亡的法律责任分配变得具有挑战性。传统的指挥责 任模型假设了知识和控制程度，而自主系统在做出目标选择时 ，这种程度可能并不存在。这种差距可能会阻碍战后司法机制为受害者提供救济和为受影响社区进行和解。人类参与减少也可能导致寻求真相变得困难，并削弱对历史叙述和和解努力中信任的基础。 其他《日内瓦公约》条款及其附加议定书也并非完全有效。例如，第51条禁止无差别攻击的条款，假设攻击方能够合理预见到其行为的后果。人工智能系统的潜在不可预测性使这一点受到质疑。类似地，第57条要求“持续采取行动”以保护平民，这取决于人类的判断，而在自主操作中则可能缺乏这种判断。 新兴自主武器法规已被与化学、生物和网络安全领域的先例进行比较，其中包括当前法律架构中的重大差距。与这些其他领域不同，自主武器缺乏专门的条约或习惯国际法指导。人工智能技术的双重用途进一步使监管工作复杂化，因为许多底层算法和系统具有合法的民用应用。 当前的AI控制武器说明后果 为了了解这类系统是如何验证我们所描述的担忧，研究一个例子是有帮助的，例如2020年阿塞拜疆和亚美尼亚就纳戈尔诺-卡拉巴赫地区发生的冲突。阿塞拜疆部署了土耳其制造的BayraktarTB2无人机和以色列制造的IAIHarop徘徊式导弹（自杀式无人机）对付亚美尼亚军队。一旦经过人为授权，这些系统就在导航、目标识别和交战方面发挥了显著的自主能力。它们让阿塞拜疆能够以极低的人员风险中和亚美尼亚的防空系统、装甲部队和炮兵，但它们的使用在几个领域引发了严重担忧。 首先，亚美尼亚部队缺乏可比的系统和对策，导致他们遭受不成比例的伤亡，这违背了区别和比例原则。 容纳人工智能的关键在于保持人类控制 拥有有意义的人类控制（MHC）是应对自主武器带来的挑战的核心。它要求操作员能够就武器系统做出明智的判断，并在使用武力时保持道德能动性。他们应当了解系统的局限性和能力，能够在必要时覆盖系统，有充足的时间来商议使用武力，并参与基于责任分配的道德结构，以保持明确的问责界限。 有一种更有效的方法管理人类与自主武器的关系在目标定位周期的不同阶段，从情报收集到战斗损伤评估。这是一 种分布式方法，根据功能和上下文以各种形式支持MHC。 核实国际人道法合规性也是一个问题。有限的独立观察使得难以评估所有袭击是否遵守了区分和比例要求。人权观察记录了多起针对民用基础设施的事件，引发了关于监督的质疑 。 半自主武器也改变了战场心理。阿塞拜疆军队公开了成功袭击的无人机画面，造成了超出物理破坏的心理影响，这使得比例性计算变得复杂，而这种复杂性难以在传统的国际人道法评估中轻易捕捉到。 自主武器的新伦理和法律要求 每个利益相关者都在应对自主武器道德和法律使用的需求方面发挥着作用。我们制定了一项战略，明确了这种参与，从全球治理的最高层面到国家军队、自主系统及其驱动人工智能的生产者。 指挥官应接受关于人工智能武器道德部署的专业培训，强调决策中人类监督的重要性。培训计划将包括道德模拟练习，为军官监督自主操作做准备。 军事学说应包含针对人工智能的规则、伦理指南、人类控制的技术协议以及限制自主功能的手续。在此级别的培训应涵盖伦理决策、人工智能的局限性、国际人道法义务和模拟演习。 管理机构可以通过制定一份关于自主武器的综合国际协议来促进明确界定、问责制结构和验证机制。例如，联合国可以召集一个多边工作组来起草一项具有法律约束力的协议，该协议要求对人工智能驱动的军事系统的关键功能进行有意义的人类控制。 在冲突发生之前，政府应设立专门调查部门，以审查涉及人工智能驱动系统的潜在事件。他们还应该进行第36条审查，以在部署前评估自主武器合法性问题，涵盖遵守国际人道法、训练数据质量、多样化测试、人控和故障安全措施。 A设计责任该方法可能需要各州在部署其自动驾驶系统前，证明其系统能够保持明确的问责线。这包括技术架构文档、测试协议和操作指南，以确保在整个武器生命周期中始终保留MHC。 在国际层面，国际人道法需要更新以明确自主系统的指挥官责任。这可以包括在平民居住区部署这些武器时的严格责任。 验证自主武器条约将是国际规制中的另一个重要组成部分。鉴于人工智能技术的双重用途性质，此类条约将十分复杂。借鉴化学和核先例的方法可能包括声明、文件、检查、监控和算法透明度。 商业部门在确保符合伦理的人工智能发展中发挥着重要作用。国防技术公司必须采用全行业的伦理原则，优先考虑透明度、问责制以及遵守国际法。例如，二战后的齐克隆B案例等历史先例表明，私人行为者可能因促成对国际人道法的违反而受到追究。目前的努力也将为监管参与自主武器生产的AI开发人员提供法律依据。 最终，公司将创建伦理审查委员会和多元化开发团队，并建立算法审计、举报人保护和企业责任协议，以确保负责任的AI创新。 全面行动将维护战时人类自主权 虽然自主战争的出现提供了战略优势，但也带来了21世纪最重大的伦理和法律挑战之一。自主系统在基于人类道德能动性假设的正统战争理论的所有维度上制造紧张局势，并威胁要破坏国际人道主义法的原则。然而，使用\"有意义的humancontrol\"这一概念可以为应对这些挑战提供一个极为重要的框架。 分散和建立MHC从顶层开始，即国际社会，必须在先进自主武器大规模部署之前果断采取行动，制定监管工具、改革军事学说并加强问责机制。我们相信这种做法应该是多层次的 ，从国际法律工具延伸到国家法规，以及私营部门的指南和技术保障措施。我们可以在以下领域提供帮助：学说发展、治理更新和培训，包括系统级审查、新课程和学院建设。 最终，问题不在于自主武器是否会被采用，而在于人类如何在这个技术自主性日益增加的时代维护其道德和法律问责制 。确保战争仍受伦理人类判断和法律问责制的约束至关重要 。 作者 蒂姆·基廷 伙伴，迪拜timothy.keating@kearney.com 莎拉·玛塔尔 伙伴，迪拜sarah.matar@kearney.com 阿姆尔·法亚德 顾问，迪拜amr.fayad@kearney.com 伊莲娜·卡姆马斯 咨询顾问，迪拜elena.chammas@kearney.com 作者感谢SaadHaque对本文章的宝贵贡献。 自1926年以来，Kearney一直是一家领先的管理咨询公司，也是全球四分之三的《财富》全球500强企业和世界各国政府的信赖合作伙伴。分布在全球40多个国家，我们的人才塑造了我们的身份。我们以影响为先导，用原创思维和共同推动变革的承诺，应对您最棘手的挑战。我们与您并肩作战，提供价值、成果和影响。 kearney.com 获取更