我们是否正在将邪恶的平庸性和激进性自动化？

当乔治-奥威尔创造 "极权主义 "一词时，他并没有生活在极权主义政权中，而只是在想象它可能是什么样子。他提到了极权主义社会的两个主要特征：一个是撒谎（或错误信息），另一个是他所说的 "精神分裂症"。奥威尔写道

"极权主义国家实施的有组织的谎言，并不像人们有时所说的那样，是一种与军事欺骗性质相同的临时权宜之计。它是极权主义不可分割的一部分，即使集中营和秘密警察部队不再有存在的必要，它仍然会继续存在。

奥威尔将谎言和有组织的谎言视为极权主义的基本方面。生成式人工智能模型没有检查和警戒线，为这两种行为提供了理想的工具。

同样，1963 年，汉娜-阿伦特针对阿道夫-艾希曼因纳粹战争罪而受到的审判，创造了 "邪恶的平庸"这一短语。她感到震惊的是，艾希曼本人看起来并不像一个邪恶的人，但却因为不假思索地听从命令而做出了邪恶的事情。她认为，普通人只需服从命令，不挑战权威，就能犯下恶行。

我们认为，目前的人工智能越来越能够鼓励人们服从非人类和非人道的主人，自信地说出可能是系统性的不实之词--这可能是极权主义政权的前兆，当然也是对任何民主概念的威胁。"平庸之恶 "的产生得益于对围绕这些技术的 "魔幻思维"不加质疑的头脑，包括以不被受影响者理解的有害方式收集和使用的数据，以及旨在修改和操纵行为的算法。

我们承认，在人工智能的背景下提出 "邪恶 "的问题是一个戏剧性的步骤。然而，目前盛行的功利主义计算方法认为，人工智能带来的好处将超过其对社会、政治、经济和精神造成的不良后果，这就削弱了人工智能正在造成和将要造成的危害的严重性。

此外，过度专注于人工智能的独立技术风险，会分散对人工智能基础设施真正性质的有意义的讨论，以及对确定谁有权决定其发展和使用这一关键问题的讨论。当然，生成式人工智能模型的所有者和开发者并没有像艾希曼那样组织执行不人道的命令，而是在作恶。人工智能系统也不能与毒气室相提并论。我们不想轻视纳粹主义对人类造成的伤害。

然而，人工智能正在禁锢人们的思想，关闭（而不是打开）许多通往工作、意义、表达和人类联系的道路。美国卫生总监维韦克-H-穆尔西（Vivek H. Murthy）指出，社交媒体和错误信息导致了 "我们的孤独和隔离流行病"，而超个性化的人工智能生成应用很可能会加剧这种流行病。

与其他前辈一样，我们也对将人类简化为动态嵌入硅芯片的 1 和 0 以及这种思维方式的后果表示担忧。卡雷尔-恰佩克（Karel Čapek）是在其戏剧《R.U.R》中创造了 "机器人 "一词的作家，他曾多次质疑将人类简化为数字的做法，并认为自动化与法西斯主义和共产主义有着直接联系--他强调了个人主义和创造力的必要性，认为这是过度自动化世界的解毒剂。我们》一书的作者叶夫根尼-伊万诺维奇-扎米亚京讽刺资本主义的创新使人 "机器化"。他在 1932 年的一次访谈中解释说，他的小说《我们》是 "对威胁人类的双重危险发出的警告：机器的巨大力量和国家的巨大力量"。扎米亚京写道，用坦克、"飞机 "和毒气进行的战争，使人类沦为 "数字和密码"。

人工智能在生产自动化的基础上更进一步，通过生成式人工智能，实现了交流自动化。恰佩克（Čapek）、扎米亚京（Zamyatin）和阿伦特（Arendt）在上世纪对自动化发出的警告依然具有前瞻性。正如马歇尔-麦克卢汉（Marshall McLuhan）所指出的："我们塑造了我们的工具，随后，我们的工具也塑造了我们"。能够基于不实信息进行欺骗的自动化语言将塑造我们，并对民主和安全产生我们尚未充分认识到的长期影响。

人工智能工具的快速部署与含铅汽油的快速部署有很大的相似之处。含铅汽油解决了一个真正的问题--发动机爆震。含铅汽油的发明者托马斯-米奇利（Thomas Midgley）了解铅中毒，因为他自己就患有这种疾病。还有其他危害较小的方法可以解决问题，只是在立法者最终出面制定正确的激励措施，以抵消销售含铅汽油所赚取的巨额利润时，这些方法才被开发出来。因贪婪和科学失误而导致的类似公共卫生灾难还包括：销售极易上瘾的处方鸦片制剂、将除草剂武器化用于战争，以及导致数百万人死于心脏病的结晶棉籽油。

在上述每一种情况下，技术的好处都被夸大，以至于技术的采用获得了市场动力，而批评和反驳要么难以提出，要么没有任何吸引力。它们造成的危害已得到广泛承认。然而，人工智能的潜在危害和不良社会后果更有可能与使用原子弹和禁用滴滴涕化学品相提并论。关于加速结束一场可怕的战争是否是轰炸平民的正当理由，或消除主要合成杀虫剂对环境的益处是否导致疟疾死亡人数急剧增加的争论仍在继续。

人工智能使邪恶平庸化的一个次要方面是将信息和数据管理外包给一个不可靠的系统。这提供了看似合理的推诿理由--就像咨询公司被企业用来为不道德的行为辩护一样。就生成式人工智能模型而言，如果从一开始就不采取适当的保障措施，可能更容易满足极权主义的先决条件。

阿伦特还讨论了 "极端邪恶"的概念，但这一概念并不广为人知。她借鉴伊曼纽尔-康德的哲学思想，认为激进的恶是指人类或某些类型的人类是多余的。艾希曼的平庸在于他在履行其官僚职责的日常过程中犯下了无谓的罪恶，而纳粹政权的激进之恶在于将犹太人、波兰人和吉普赛人视为毫无价值的人。

让人类的努力成为多余，是许多正在开发的人工智能的目标。人工智能不需要工资，不需要病假，也不需要考虑权利。我们需要从根本上质疑和挑战的正是这种消除人类需求、使人类成为多余的理想化。

在取代重复性体力劳动时，将枯燥的工作自动化可以将人们解放出来，让他们从事更有价值的追求，这一论点或许还能站得住脚，但生成性人工智能正在取代有意义的工作、创造力，以及侵占艺术家和学者的创造性努力。此外，这往往会加剧经济不平等，使我们中最富有的人受益，却没有提供替代手段来满足人类大多数人的需求。可以说，如果不同时解决分配危机，让人们获得维持有意义的生活和高质量的生活水平所需的资源，那么人工智能消除工作岗位就是邪恶的。

娜奥米-克莱因（Naomi Klein）在《卫报》最新发表的一篇关于 "扭曲的幻觉"（不，不是模型的幻觉，而是模型发明者的幻觉）的文章中捕捉到了这种担忧：

"在这个世界上，人工智能作为一种强大的预测研究工具和繁琐任务的执行者，确实可以被用来造福人类、其他物种和我们的共同家园。但要实现这一点，这些技术就必须部署在一个与我们的经济和社会秩序大相径庭的环境中，一个以满足人类需求和保护支持所有生命的地球系统为目的的环境中。"

人工智能促使财富集中在少数人手中，因此肯定不是一种中立的技术。近几个月来，尽管我们为谈判和通过法案、条约和指导方针做出了巨大努力，但我们的经济和社会秩序既没有准备好，也不愿意认真对待采取必要的关键措施。

在匆忙推出人工智能生成模型和技术的过程中，由于缺乏足够的防护措施或监管，个人不再被视为人类，而是被视为数据点，为更广泛的效率机器提供信息，以降低成本和对人类贡献的需求。这样一来，人工智能就有可能使邪恶变得平庸和激进，并有可能助长极权主义。人类的能力和思维是每一种文明赖以生存的基石，任何用来取代人类能力和思维的工具都应该受到怀疑--无论潜在的利润有多大，那些助长极权主义的工具都应该被禁止，就像其他造成危害的科学进步一样。

所有这一切，都是由怀着善意的好人所为，他们只是在完成自己所承担的任务和目标。这就是正在慢慢转变为极端邪恶的平庸之所在。

行业领导者谈论着可能威胁到我们生存的风险，但似乎并没有努力去思考，也许我们已经到了极限。这就够了吗？我们是否已经达到了阿伦特所观察到的那个爆发点，在那里，善变成了后来表现为极端邪恶的一部分？

在许多文章中，我们都对谈论未来的生存风险表示遗憾，认为这分散了我们对近期挑战的注意力。但是，对人工智能的恐惧也许是一种隐喻，它隐喻了人工智能现在和将来的邪恶目的。

正如我们在最近一年中指出的那样，必须关注那些通过精心策划的叙述、社会沉默和混淆视听而没有被提及的事情。混淆视听的一种形式是 "道德外包"。鲁曼-乔杜里（Rumman Chowdhury）在2018 年的 TEDx 演讲中也提到了阿伦特的 "平庸之恶"（banality of evil），她将 "道德外包 "定义为 "将人工智能拟人化，将负面后果的责任从人类转移到算法"。她指出："你永远不会说'我的种族主义烤面包机'或'我的性别歧视笔记本电脑'，但我们却在有关人工智能的语言中使用这些修饰词。这样做，我们就没有为我们制造的产品的行为负责"。

Signal 公司总裁梅雷迪斯-惠特克（Meredith Whittaker）最近在接受《Meet the Press Reports》 采访时认为，目前的人工智能系统正在 "服务于""世界上少数几家公司的经济利益和权力，这些公司拥有数据和基础设施的综合能力，能够创造出我们所说的从鼻子到嘴的人工智能"。相信 "这会神奇地成为社会公益的源泉......是用来推销这些程序的幻想"。

惠特克的言论与谷歌前首席执行官、Alphabet 总裁、美国国家人工智能安全委员会前主席埃里克-施密特（Eric Schmidt）的言论形成了鲜明对比。施密特认为，随着这些技术的普及，应该由开发人工智能的公司来建立行业警戒线，"以避免竞相逐低"，而不是由政策制定者来建立，"因为非业内人士无法理解可能发生的事情。政府中没有人能够做到这一点。但产业界可以大致做对，然后政府可以围绕它建立一个监管结构"。施密特的不谦虚应该让任何担心权力不受约束和集中的危险的人感到害怕。

那些从人工智能中获益最多的人可能会在制定人工智能治理政策方面发挥主导作用，这种前景无异于让狐狸看守鸡舍。人工智能寡头当然必须在制定保障措施方面发挥作用，但不应该决定需要哪些保障措施。

政府和行业领导者的谦逊态度是应对众多道德矛盾点和减少危害的关键。事实上，没有人完全了解什么是可能的，什么是可以控制的，什么是不可以控制的。我们目前缺乏测试人工智能生成模型能力的工具，也不知道这些工具会以多快的速度变得更加复杂，也不知道越来越先进的人工智能的持续部署是否会迅速超越理解和控制这些系统的任何前景。

科技行业完全没有以一种明显安全有益的方式进行自我监管，决策者也迟迟没有及时采取可行的执法措施。最近，人们就大规模预防危害所需的机制和透明度进行了多次讨论。哪些机构可以提供必要和独立的科学监督？现有的治理框架是否足够？我们如何才能加快建立被认为必要的新治理机制，同时应对不可避免的地缘政治冲突和国家安全需要，因为这些冲突和需要可能会破坏有效的执行？这种治理机制究竟应该包括哪些内容？技术组织是否可以通过沙箱和建立信任措施发挥作用？

当然，无论是企业、投资者还是人工智能开发者，都不愿意成为 "激进邪恶 "的帮凶。然而，这正是正在发生的事情--通过混淆视听、秘密商业模式、在明知已被监管机构俘获的情况下虚情假意地呼吁监管，以及老式的隐蔽广告策略。在没有足够的保护措施和成熟度的情况下向市场推出的应用程序是不可信的。在生成式人工智能应用程序中加入大量可独立审查的防护措施，并限制行业和政府实施激进的邪恶行为之前，不应赋予其权力。

目前尚不清楚能否或能否及时建立起强有力的技术防护网和政策保障，以防止不可取甚至邪恶的使用。但可以肯定的是，人类的尊严和地球的未来不应被权力或我们所采用的工具所左右。肆无忌惮的技术野心将人类置于危险的轨道上。

Carnegie Council 国际事务伦理委员会是一个独立的、无党派的非营利组织。本文所表达的观点仅代表作者本人，并不一定反映Carnegie Council 的立场。