2023 年 2 月 15-16 日，在荷兰举行的REAIM 峰会上，Carnegie Council"人工智能与平等倡议 "联合主任温德尔-沃拉奇（Wendell Wallach）作为主旨发言人之一发言。他在发言中概述了为什么支持开发和部署自主武器系统（AWS）的逻辑是冷战时期升级威慑战略的延续，而未能理解此类系统将如何改变战争的进行。"那些认真研究过将 AWS 引入战争所固有的挑战的安全分析人员已经认识到，这是一个严重的问题。人类似乎不可能对 AWS 进行有意义的控制"。瓦拉赫在下面这篇文章中阐述了他的想法。
华特-迪斯尼的哪部电影中出现过集体自杀事件？即使是老玩家也很难回答这个问题。答案是迪斯尼的自然纪录片《白色荒野 》（1958 年），该片拍摄了大批旅鼠从悬崖上跳入海中，并宣称它们必死无疑。虽然部分镜头是伪造的，但事实上，人口过剩会驱使会游泳的旅鼠跳入大海寻找新家园。在这个过程中，一些旅鼠会淹死，但它们的行为并不是自杀。
2023 年 2 月 15 日至 16 日，荷兰在海牙接待了来自 60 多个国家的代表，包括商界、军界领袖和学者，他们参加了REAIM 峰会，重点讨论军事领域负责任的人工智能。经过八年的多边讨论，限制开发和部署能够选择和摧毁人类目标的自主武器系统的具有法律约束力的规则未能达成一致。为此，我们组织了 REAIM 峰会，以推进会谈并启动一个新的进程，就人工智能在军事事务中的使用的适当准则、限制和全球治理达成一致。
峰会涵盖了从使用人工智能进行决策支持到后勤规划等多个主题，但大多数与会者都特别关注武器系统的自主性。来自武器制造商的发言人向与会者保证，将对 AWS 进行全面测试。将军们宣称，将进行有意义的人为控制，因为只有对其使用负责的指挥官才能部署 AWS。他们争辩说，自动武器系统至关重要，因为战斗的速度甚至超过了训练有素的人员做出快速反应的能力。从表面上看，这些论点似乎很有道理，但如果考虑到人工智能引入战争的特点，这些论点就显得过于天真，并将人类置于自杀的轨道上。
2015 年，在联合国日内瓦办事处，非营利性倡导团体 "第 36 条"（Article 36）在关于是否限制开发 AWS 的非正式会议上提出了 "有意义的人类控制 "这一短语。到 2016 年，各方都在使用这个短语，但很快就发现，他们谈论的是截然不同的关切和方法。
在这几年中，国际安全和军事分析家们认真研究了将人工智能和 AWS 引入战争所固有的挑战，认识到这是个大问题。要确保在弹药的整个生命周期内进行有意义的人工控制，需要耗费巨资建设庞大的基础设施，这似乎很难甚至不可能实现。例如，具有学习能力（机器学习）的人工智能系统将需要近乎持续的测试。新的输入会导致行为发生变化，并有可能以不可预见的方式行事。同时，利用科技公司为非军事应用开发的现成软件和组件，AWS 将迅速向资源有限的小国和非国家行为者扩散。
正如 ChatGPT 和其他生成式人工智能应用程序（如微软的新版必应）的用户所了解的那样，人工智能可以产生惊人的结果，但有时它也很愚蠢。人工智能系统是一种概率机器，有时会以意想不到的方式行事，尤其是在战争等复杂环境中部署时。低概率的输出或行动往往微不足道，但偶尔低概率事件也会产生巨大影响。概率乘以影响就等于风险。具有大型有效载荷的 AWS 本身就存在风险。正如纳西姆-塔勒布（Nassim Taleb）孜孜不倦地指出的，低概率高影响事件比我们自然认识到的要常见得多。
试想，一名指挥官在时间紧迫的情况下面临着拯救生命的严重窘境，他部署了一架携带大威力弹药的自主无人机。鉴于战争的迷雾，指挥官很少知道实际的成功概率，但为了便于论证，让我们假设指挥官知道实现目标和拯救生命的可能性高达 87%，而失败的可能性只有 13%。但他并不知道，有 1% 的可能性是 AWS 会以非预期的方式使敌对行动升级。如果敌对行动升级，做出最终决定的指挥官会被追究责任吗？也许不会，因为他们可以躲在国家安全考虑和对成功的高度期望背后。
冷战期间，威慑逻辑推动了从超音速喷气式飞机到核潜艇等先进技术的采用，以及弹头的无休止增长。例如，能够在北极大陆架下航行的三叉戟潜艇缩短了发射核导弹与摧毁莫斯科之间的时间，威慑逻辑开始瓦解。这种新技术带来的时间缩短不足以让苏联领导人正确评估他们是否真的受到攻击。因此，自动做出报复性核反应甚至发动先发制人打击的可能性越来越大。
如今，中国和美国这两个在人工智能军事应用研发领域领先的国家，正在慢慢加剧紧张局势。威慑逻辑似乎又回来了。数字技术正被迅速采用并嵌入军事应用。然而，随着时间的推移，对人工智能的依赖不断升级，必然会演变成削弱人类有意义的控制和完全放弃人类的责任。人工智能不知道自己何时犯了错误。但我们人类有能力识别自己何时走上了自杀的道路。
就像旅鼠一样，国防和安全战略家们并不是出于无意识的死亡愿望。他们承担起了阻止战争的责任，并找到了一种在战争发生时国家可以生存下去的方法。他们知道，威慑逻辑是有缺陷的，加快战斗节奏和引入人工智能决策来弥补是无法有效控制的。然而，他们不知道还能做些什么。由于难以实施有效的合规和核查，人们对禁止 AWS 的措施能否奏效信心不足。
然而，现在是时候承认我们所制造的陷阱，并摆脱对风险越来越大的防御战略的依赖了。美国已经加入了 REAIM 进程，尽管没有具体提及 AWS，但还是发表了一份政治宣言，明确承认战争中的自主特征在许多方面都存在问题。这很可能是建立风险较低的标准和全球治理以限制在军事领域使用 AWS 所需的最后一次机会，让我们不要阻碍这一机会。
Carnegie Council 国际事务伦理委员会是一个独立的、无党派的非营利组织。本文所表达的观点仅代表作者本人，并不一定反映Carnegie Council 的立场。
