随着人工智能系统的利用和扩展，人们经常呼吁 "有意义的人类控制 "或 "环路上有意义的人类互动"。环路上 "或 "环路附近 "最初是一个工程术语，要求人类 "在环路中"，可以阻止系统运行，但现在已被政策制定者采用，以进一步拉开人类与系统的距离。我们认为，将 "在环路中"、"在环路上 "或 "在环路附近 "的任何人类都能监督复杂系统（尤其是包括人工智能在内的系统）的概念付诸实践，可能会导致灾难性的后果。
1983 年，斯坦尼斯拉夫-彼得罗夫（Stanislav Petrov）就是苏联防空部队的一名 "圈内人"。彼得罗夫的工作是利用他的技术洞察力和人类情报，在数据支持发射核武器时向苏联领导人发出警报。当错误警报提醒彼得罗夫核攻击迫在眉睫时，他对机器分析局限性的理解使他评估出了故障--阻止了一场可能发生的核灾难。
彼得罗夫有 30 分钟的时间做出决定。如今的自动化系统只需几毫秒就能做出决定。今天，我们谈论与人工智能系统有关的 "有意义的环路人类互动 "的方式，即使不是从根本上有缺陷，也是有问题的，原因如下：
- 在数据收集和操作过程中，无法与数据或传感器或执行器进行 "有意义的交互" 。 什么是环路？它是整个系统--传感器、执行器、数据（大多是历史数据，通常质量较差，几乎总是难以查询）、机器学习或人工智能、单独的部件以及可互操作的整体。没有一个人有能力理解和监督所有这些部分，更不用说进行有意义的干预了。
- 您无法与活动代码进行"有意义的交互"。 编码是一项非常专业的技能，需要专家知识。在代码被嵌入其他系统的情况下，即使有人，也很少有人能够实时审查这些元素（特别是那些通过相关安全审查的人）。由于系统不可避免地会出现故障或意外结果，因此在构建系统时以及在系统的整个生命周期中，都需要具备对系统进行检查的技能。
- 人们在使用自主系统时会感到厌烦。机器可以自主但需要人类监督的情况往往是最危险的。人类会感到厌烦或分心，从而造成灾难性后果。研究数据表明，人类无法长时间主动监督机器而不增加风险，尤其是在系统基本自主的情况下。这种风险的部分原因还与 Weizenbaum 的神奇思维有关：人类常常认为系统不会出错，然而系统确实会出错。
- 许多自主系统，甚至自动系统的复杂性、速度和规模使得人们没有时间对其提出质疑。 提供信息的速度和需要做出决策的时效性，往往会使潜在的适当人工干预变得不可能。
- 如果 "环路上有意义的人机交互 "遥不可及，风险就会更大。网络延迟（由于带宽、滞后时间、人类认知延迟和信息贫乏等问题造成，即没有掌握所需的全部信息，其中有些信息是自动化或自主项目无法获取的）会放大现有风险。黑盒子和缺乏透明度阻碍了可预测性。即使存在低风险，自动驾驶的速度和规模也可能加快或扩大造成严重伤害的可能性。
- 人类 "一词通常指的是一种相当狭义的人类类型，并不代表更广泛的人类或人类。 在这个短语中，"人 "往往是最容易被忽视的一个词，但它却承担了很多重任。能够接触和理解这些系统的人类是一个特别狭隘的群体，他们有着特定的世界观和价值观。他们并不一定理解或代表那些受自动化系统影响的人，而且在商业需要面前，他们的意见并不总是被听取。彼得罗夫有权推翻系统，今天的人是否也能这样做呢？
- 随着自动化程度的提高，理解复杂的自适应系统所需的技能将会丧失。那些有能力理解和质疑整个系统的流程，包括系统的运行是否符合道德规范和负责任的行为准则的人，会越来越多地被边缘化，或者失去他们的技能。从长远来看，跨学科技能组合不容易复制或替代。复杂的适应性系统有时会以无法预测的方式运行，即使是那些拥有正确技能组合的人。随着更多自动化和自主系统的连接和扩展，发生低概率高风险（黑天鹅）事件的可能性将会增加。
- 在数据收集和操作过程中，无法与数据或传感器或执行器进行 "有意义的交互" 。 什么是环路？它是整个系统--传感器、执行器、数据（大多是历史数据，通常质量较差，几乎总是难以查询）、机器学习或人工智能、单独的部件以及可互操作的整体。没有一个人有能力理解和监督所有这些部分，更不用说进行有意义的干预了。
每当你听到 "环路上有意义的人机交互（或控制）"时，请质疑这在特定系统中的含义。更有用的做法是，问一问自动化或自主是否是问题所在的正确选择。自动化是否合适、合法、合乎道德？在解决方案和系统的整个开发和生命周期中，让具备不同学科和跨学科技能的专家参与进来，以解决挑战，其影响将远远大于任何 "人在回路中 "的影响。在系统启动后，仅仅 "在环路上 "几乎肯定无法像彼得罗夫那样，让任何人暂停、反思、质疑和停止机器的运行轨迹。
科比-莱恩斯博士是伦敦国王学院的客座高级研究员；澳大利亚标准局专家，就即将出台的人工智能标准向国际标准组织提供技术建议；电气和电子工程师学会人工智能与生命科学负责任创新组织的联合创始人；联合国裁军研究所非驻地研究员；卡内基人工智能与平等倡议（AIEI）顾问委员会成员。莱恩斯还是《新战争技术与国际法》（剑桥大学出版社，2021 年）的作者。
Anja Kaspersen 是Carnegie Council for Ethics in International Affairs 的高级研究员。她与高级研究员温德尔-瓦拉赫（Wendell Wallach）共同领导卡内基人工智能与平等倡议（AIEI），该倡议旨在了解人工智能影响平等的无数方式，并针对这些方式提出可能的机制，以确保所有人都能从人工智能中获益。
