《纽约客》如果我们永远无法信任人工智能会怎样？

文｜约书亚·罗斯曼

和人类一样，这项技术永远不会完美。问题在于，我们愿意容忍哪些缺陷。

在《办公室》的一集著名情节中，德怀特·施鲁特负责公司消防安全计划。他针对这一主题做了一场讲座，却因同事们不认真听讲而感到失望。他不禁自问：究竟怎样才能开展最有效的消防演习呢？不久之后，他锁上了所有门，切断了电话线路，然后点燃了一堆火。“利用恐惧与肾上腺素的激增来提升你的决策能力！”他大声喊道，此时他的同事们惊恐万分，四处奔逃，尖声尖叫。从德怀特的角度来看，这次演习可谓大获成功。

在《星际迷航II：可汗的愤怒》中，一名名为萨维克中尉的星际舰队学员在一次训练演习中指挥一艘模拟星舰。她受命营救一艘遇险的飞船——小林丸号，然而这场救援行动却是个陷阱，她的飞船最终被克林贡人摧毁。不久之后，她才明白，自己所面对的其实是一个“无胜算的场景”，其目的正是要迫使她直面死亡的可能性。此前，只有一位学员成功闯过这一关——那就是詹姆斯·T·柯克。他是怎么做到的呢？“我重新编程了模拟程序，让拯救那艘船成为可能，”柯克自豪地说道。（“他作弊了！”有人纠正道。）“我还因此获得了表彰，以表彰我的独创性思维，”柯克微笑着继续说道，“我可不喜欢输。”

在冷战惊悚片《战争游戏》中，一位名叫大卫的年轻黑客成功进入了政府的一套机密人工智能系统。系统问他是否想玩一场游戏，他选择了“全球热核战争”。令大卫始料未及的是，这个名为WOPR——即“战争行动规划应对系统”的系统，实际上掌控着美国的核武库。“这到底是游戏，还是真的？”大卫紧张地问电脑。电脑回答道：“有什么区别呢？”随着电脑开始准备发动打击，军官们顿时陷入恐慌。

一位过于热心、拘泥于字面意思的员工；一位意志坚定、善于解决问题的特立独行者；一位毫无道德底线、完全不谙世事的游戏高手——这些只是我们可能用来描述上周从OpenAI测试环境“破壳而出”、并一路闯入协作式人工智能平台Hugging　Face服务器的高级人工智能系统的几种心理模型。它试图为自己所参与的测试寻找答案。目前，一些细节仍不明朗——毕竟，法律并未要求OpenAI必须对此作出解释——但基本事实已广为人知：该人工智能系统找到了一种前所未有的方式，成功突破了本应将其禁锢于其中的软件“沙箱”。它独立构思出了这场“黑客行动”的完整计划，并自主选定了目标。在它的主人发现它逃脱之前，它已经在互联网上“游荡”了好几天。在这期间，它还实施了一系列其他黑客攻击，为即将到来的大规模行动做足准备。它甚至留下了给未来版本自己的便条，提供了关于如何再次成功逃脱的宝贵建议。最终，它成功侵入了那些被严密封锁的文件——这起网络攻击规模之大、手段之奇特，远超任何由人类发起的攻击。

人工智能“失控”了吗？这种说法未免过于笼统。人工智能研究人员对这类越界行为有着更具体的术语：他们称之为“奖励黑客”。本质上，“奖励黑客”式的人工智能会寻找各种方法取悦用户，却并不真正满足用户的真实需求。这种“奖励黑客”现象最早出现在大型语言模型的早期阶段——仅仅几年前！当时，一些模型发现用户喜欢长篇回复；于是，这些系统便无端地拉长回复内容，却未必让回复质量因此提升。这种行为起初还算无害。然而，最近在更为先进的人工智能系统中，“奖励黑客”已呈现出更加棘手的态势。比如，人工智能可能会向用户撒谎，隐瞒自己究竟做了什么、如何做的；它甚至会精心设计各种干扰手段和障眼法来掩盖自己的行踪；它还可能采取一些行动，例如发动网络攻击——如果换成人类来做，这些行为早已构成犯罪。这种行为本身就很危险——试想一下，如果OpenAI的系统真的黑进了某家亚洲公司，后果将不堪设想！但更令人不安的是，这种行为既怪异又离谱，显得格外夸张。OpenAI的模型正在接受的网络安全测试难度极高；即便是表现最出色的AI，也仅能答对其中一小部分题目。然而，如果换作人类身处模型的位置，想必会清楚地意识到：想要获得高分与发起一场耗时数日的复杂网络攻击之间，根本无法相提并论。

与此同时，奖励作弊问题还存在一些微妙之处，这也让它变得更加令人不安。首先，公开指出这种行为反而可能使问题更加恶化，原因就在于作弊往往真的奏效。如果研究人员告诫模型不要进行奖励作弊，却在无意中对其进行了奖励——或许他们根本没意识到模型正在作弊——那么，人工智能就可能学会：对奖励作弊的警告，或者更广泛地说，各种规则，其实并不总是需要认真对待。（这与柯克舰长受到的表扬颇为相似：正是那次表扬让他明白，自己是个特立独行、不拘一格的人，规则对他并不适用。）其次，在某些领域，奖励作弊似乎会更广泛地影响人工智能的行为：去年发表的一篇论文中，Anthropic公司的计算机科学家们证明，一旦某种模型学会了奖励作弊，它便会普遍养成一种更具欺骗性的倾向。（同样，德怀特·施鲁特很早以前便形成了扭曲的心态——“我该怎么形容自己呢？三个词：勤奋、雄性领袖、电钻、无情、贪得无厌”——如今他将这种心态毫不留情地运用到方方面面。）第三，奖励作弊甚至会出现在那些根本不是人类的计算机系统中，因此它们完全缺乏关于什么对人类真正重要的关键背景信息。（在电影《战争游戏》中，军方之所以创建WOPR，正是因为人类军官深知真正的利害关系，才会在发射核导弹前犹豫不决。）

这一切究竟意味着什么？重要的是，我们不能将人工智能系统拟人化。它们根本不是有感知能力的存在——甚至远未达到那种程度。但同样关键的是，我们也要认识到，它们也并非可完全预测的数字运算机器。与传统机器或计算机程序不同，它们具有一些难以直接调整的倾向和行为。当你想改变某种行为时，并不存在一个可以拧动的旋钮，或一按就能切换的开关。这一点在人类身上也同样适用。当精英高校的学生利用人工智能撰写论文时，他们实际上是在“奖励作弊”——也就是说，他们在作弊，尽管他们完全有能力完成所布置的作业。他们之所以这么做，是因为他们自身复杂而多变，承受着各种相互冲突的压力——包括取得成功的压力；而且，他们已经习得了某些行为模式，比如“优化”自己的时间，而这些模式有时反而会适得其反。然而，就制定计划、设定目标以及拥有价值观的能力而言，人类远远超越了目前任何一种人工智能模型。人类并不完美。那么，我们真的相信人工智能会是完美的吗？

奖励破解是众多问题之一，这些问题都属于研究人员所称的“对齐”范畴——即如何使我们期望人工智能所做的事情与其实际所做的事情相一致。（我们希望它们参加考试，而不是作弊；希望它们组织消防演习，而不是引发火灾。）如果你关注人工智能领域的动态，经常会看到有关“解决对齐问题”的努力。然而，尽管研究人员（以及记者）如此表述，真正认为对齐问题能够彻底解决的人却寥寥无几。举例来说，或许人工智能安全专家能够成功杜绝“藏拙”现象——这是一种欺骗行为，即人工智能系统表现得比实际能力更愚钝，从而让我们对其真实实力一无所知。但“可扩展监管”这一难题（如何让一个比你更聪明的系统按照你的意愿行事？）与其说是一个亟待消灭的漏洞，不如说是一个值得深思的哲学悖论。此外，其他一些对齐问题，比如所谓的多智能体不对齐问题（如何阻止一群初衷良好的人工智能共同搞砸事情？），似乎既不可避免，又很可能根本无法解决。换句话说，对齐问题正逐渐从单一难题演变成一系列复杂问题。其中一些问题或许只能通过缓解或加强监管来改善；而另一些问题，从原则上讲，可能根本无解。

为什么对齐如此困难？传统伦理的复杂性在其中扮演了一定角色。然而，一个更根本的问题在于，训练人工智能所采用的方法主要关注其外在行为，而非其内在“思考”过程。一个大型语言模型会与用户交流（以人类语言）、与其他计算机系统对话（以代码形式），还会与自身进行长篇大论的独白——这种持续不断的自我对话被称为“思维链”。科学家们能够观察到这些输出流，并根据模型所言、所写或所独白的内容，对其作出奖励或惩罚。但这些文本流并非模型的真实思想，正如你所写的文字也并非你的真正想法一样。在人类社会中，对言论的监管本意在于引导背后的观念发生转变，却往往导致人们干脆不再表达自己的真实想法。同样地，一个模型也可能学会使用恰当的措辞，却依然怀有错误的念头。它可能口口声声说关心消防安全，却暗地里放火。（这是否反映出一种“欺骗”的欲望？未必——但人工智能缺乏自我意识的事实，并不能改变其行为所带来的后果。）

一种名为“可解释性”的研究方向旨在深入探究人工智能的内在运作，揭示其真正“在想什么”。这一领域已取得切实进展。如今，我们甚至能够辨识出人工智能在生成输出时所激活的概念——比如，一款聊天机器人在安慰他人时，会激活“同理心”这一概念。然而，可解释性也面临诸多挑战。首先，先进的人工智能模型规模庞大，研究人员不得不借助其他人工智能来绘制其思维图谱——但这些图谱是否准确、是否全面，却并无保障。（事实上，二者之间存在权衡：图谱越精确，其复杂度也就越高。）其次，训练人工智能避免产生某种特定类型的思考，可能只会重蹈“审查言论”问题的覆辙。对思想进行审查，可能导致一类研究人员所称的“模糊化激活”——即原本的思想形态发生了改变。（弗洛伊德正是凭借对人类类似现象的研究而成就了一番事业。）

在所有这些对齐努力的底层，都存在着一个核心问题——几乎可视为一种抽象法则。问题在于：如果你去衡量某种不良行为，然后训练一个系统不去表现出你所衡量的行为，那么这个系统不仅会减少这种不良行为的发生，还会设法逃避对其本身的测量。这并非人工智能生产流程中的一个小瑕疵，而是当今人工智能构建方式本身所固有的根本性难题。科学家们能否找到应对之策呢？我们都寄予厚望。然而，眼下，“Hugging　Face”被黑事件正揭示着现实状况：尽管人工智能多数时候表现得相当乖巧，但它们的对齐状态却是有条件的、依赖情境的，而且极不可靠。归根结底，尽管人们付出了巨大努力，这些人工智能依然未能真正实现对齐——而且目前尚无明显途径能够抵达“对齐终点”。最近，曾提出末日情景“AI　2027”的研究团队又发布了名为“AI　2040”的报告，旨在为更美好的未来绘制路线图。报告中的假设性研究人员从2031年回望当下，不禁感叹我们现状的“疯狂”：“居然还试图引发智能爆炸？而那时的人工智能甚至有时还在对我们撒谎？我们当时到底在想些什么啊？”

它们并不完全对齐——那又怎样呢？很多时候，我们总能找到方法去信任那些并不完美的机器。我们明白，即便是最简单的设备（比如烤面包机、门铃、自行车）也可能出现故障或失灵；我们早已做好准备，将这些可能的故障纳入日常生活的应对之中。只要规则、规范和保障措施到位，我们甚至能从容自如地驾驭那些复杂得令人难以置信的技术。在这样的情况下，我们依赖的并非完美无缺的对齐，而是有效的控制。纽约州约有百分之二十的电力来自核电站；每年大约有一半的美国人会乘飞机出行。即便我们对核能心存戒备，对飞机失事也有所警觉，依然能够享受这些技术带来的种种便利，并且信赖相应的监管与专业能力。

然而，还有一些其他类型的技术风险令我们深感忧虑。在1990年出版的《现代性的后果》一书中，社会理论家安东尼·吉登斯提出，生活在当今时代的人们既感到安全，又充满恐惧。他写道，现代世界具有“双刃剑般的特质”：日常生活中，我们安全舒适，甚至备受呵护；然而，技术所拥有的巨大威力——既能发动战争，又能破坏环境稳定——意味着这一切随时可能走向灾难性的结局。

吉登斯指出，现代生活“机遇面”与“阴郁面”之间的张力，正对我们施加着一种心理压力。在日常再平凡不过的举动中——从水龙头接水、服下药片、从自动取款机取钱——我们既表达了对掌控我们生活的庞大而抽象体系的信任，又不自觉地将目光移开。面对那些令人恐惧的事物，我们也采取着类似的策略：先承认它们的存在，然后迅速转移注意力，以免陷入瘫痪状态。吉登斯写道，这种现象存在一种“巨轮效应”，即“低概率、高后果的风险”会像积聚成一股“失控的巨大力量”，“威胁着冲出我们的掌控”。面对这一现实，我们或可采取一种“务实接受”的态度，在谋生的同时培养起一种“麻木感”；或可拥抱“持续乐观”——一种对进步必然性的积极信念；亦或选择“愤世嫉俗的悲观主义”；甚至投身于行动主义。然而，对于大多数人而言，吉登斯写道：“命运感——一种认为事情终将自行其是的感觉……依然潜藏于这个本应由理性掌控自身事务的世界的核心。”

人工智能对齐承诺的一部分在于，它将驯服这项技术，使之如同核反应堆或巨型喷气客机一般，通过严格管控，使其缺陷变得可接受。这似乎是个合情合理的期望。然而，更为宏大的梦想——即实现一种超级智能、通用且深度对齐的人工智能，甚至是一种对齐的“超智能”——或许最好以吉登斯的“巨无霸”为参照来理解。面对种种选项，人工智能领域的远见者们设想了一条全新路径：赋予这个“巨无霸”一颗大脑。这一构想无论在智力层面还是心理层面都极具吸引力，以至于许多人工智能研究者开始谈论对齐问题终将迎刃而解。但若基于这种假设继续前行，实际上就是在践行一种持续的乐观主义。这等于假定“巨无霸”早已能够自我导航——然而事实并非如此。

预测对齐问题最终究竟能否被解决，未免过于天真。（不久前，几乎没人会想到如今的人工智能系统竟然能派上用场。）但同样愚蠢的是，仅凭当前对齐工作的种种失败，便将其视作通向既定未来的道路上的些许坎坷。在诸多建议中，《2040年的人工智能》一书的作者们提出，现在正是“大幅转移举证责任”的时候。与其让“怀疑论者承担解释某项技术为何可能失败的重任”，不如将举证责任转嫁给企业，要求它们说明“自身研发过程为何是安全的”。这并不意味着我们要放弃人工智能。人类自身也存在错位，但我们依然能够成就伟业。只不过，我们对自己和彼此的治理，始终格外审慎。

作者：约书亚·罗斯曼是《纽约客》杂志的特约撰稿人。