A.I.教父 Geoff Hinton：当AI有制定目标的能力，我们的麻烦就来了-微咔网

Geoff Hinton speaking by video at MIT Technology Review\’s EmTech Digital conference

▎“我觉得，人类有可能仅仅是智能演化过程中的一个过渡阶段。”

作者｜Craig Smith

本文首发于钛媒体APP

钛媒体注：近日，钛媒体特约作者、\”Eye on AI\”播主Craig Smith参加了由《麻省理工技术评论》杂志主办的EmTech Digital 2023会议。在会议上，作为人工智能发展的开创性人物，杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton）一改往日对待AI的态度，描述了他所参与创造的技术给人们带来的可怕景象，这让科学界感到震惊。

“我敲响的警钟与强大AI带来的生存威胁有关，它们可能会掌控一切。我曾经认为这种情况还遥不可及，但现在我认为这是一个严重且相当迫切的问题。”辛顿通过视频在大会上发言时表示。

自半个世纪前尝试从事木匠工作失败以来，辛顿一直走在机器学习研究的前沿。在经历了这段短暂的弯路之后，他又回到了与杰出祖辈们，乔治·布尔（George Boole，布尔逻辑之父）和乔治·埃弗里斯特（George Everest，英国印度测量总督以及世界高峰的命名者）相一致的道路上。

辛顿与同事 Yoshua Bengio、Yann LeCun 共同获得了2018年图灵奖，他们发展了一种基于多层神经网络的人工智能，这些连接的算法模仿了大脑中的信息处理。这项被辛顿称为“深度学习”的技术正在改变全球经济。然而，正是这样的成功让他对其超越人类智能的潜力感到恐惧。

在短短20多年的时间里，深度学习从能识别图像的简单模型发展为像 OpenAI 的GPT-4这样高度复杂的大型语言模型，这些模型吸收了大量的人类文本知识。上个月，正是GPT-4的强大促使成千上万名关注AI的科学家签署了一封*，呼吁暂停开发更强大的AI。然而，辛顿并未在这封*上签名。

辛顿表示，阻止人工智能的进一步发展几乎是不可能的。

“如果你像我现在一样重视人类的生存风险，那么停止继续发展这些东西或许是明智的。但我认为，这样做太天真了。”

在辛顿看来，没有有什么方法能阻止这些AI的发展。我们不应该停止开发它们，因为它们实在太有用了。

他认为*呼吁暂停AI开发是荒谬的。

深度学习基于误差反向传播算法，几十年前，辛顿就意识到这种算法可以用来让计算机学习。讽刺的是，他在该算法上取得的第一个成功是在一个语言模型中，尽管这个模型比他现在所担忧的要小得多。

他回忆说：“我们证明了它可以形成良好的内部表征，奇怪的是，我们是通过实现一个微型语言模型做到这一点的。它有着仅包含六个成分的嵌入向量，训练集有112个样本，但它是一个语言模型，试图预测一串符号中的下一个术语。”

辛顿指出，GPT-4拥有约一万亿个神经连接，尽管人脑拥有大约100万亿个连接，但它所掌握的知识仍然超过任何一个人类。“它在仅仅一万亿个连接中获取大量知识的能力远远超过我们所拥有的。反向传播算法可能比我们现有的学习算法更为优越。”

辛顿一生的主要追求就是揭示大脑的工作原理，尽管他在这个领域取得了突破，但仍未达到自己的目标。他将在这个过程中开发的强大算法和架构称为“有益的副产品”。然而，随着近大型语言模型的飞速发展，他担忧这些副产品可能会失控。

“过去我一直认为，我们所研发的计算机模型不如大脑，目标是通过观察改进计算机模型所需的条件来更深入地了解大脑。”辛顿在英国的家中表示，“但在过去的几个月里，我的看法彻底改变了。”

就在本周早些时候，辛顿从谷歌辞职，他自2013年起在那里工作，此前一年他取得了深度学习的重大突破。他表示，自己辞职的部分原因是因为到了退休的年纪——辛顿已经75岁了，但他还想*地表达自己的担忧。

辛顿分享了他近与GPT-4的一段互动经历。

“我告诉它，我希望两年后家里所有的房间都是白色。目前我有一些白色房间，一些蓝色房间和一些黄色房间，而黄色油漆会在一年内逐渐褪成白色。那么，我应该怎么做？它回答说，你应该把蓝色房间涂成黄色。”

“这种常识推理非常令人印象深刻，在AI领域实现这一点一直非常困难。”他继续说道，该模型正确理解了在这种情境下“褪色”的含义，并且明白了时间维度的概念。

这些模型的推理能力相当于智商80或90的人类，但如果它们的智商达到210，会发生什么呢？

辛顿认为，像GPT-4这样的大型语言模型“会通过阅读所有人写过的小说，以及马基雅维利关于如何操纵人的全部著作，从我们身上学习。结果，它们会变得非常擅长操纵我们，而我们却察觉不到这一点。”

“如果你能操纵别人，你甚至可以在不亲自去华盛顿的情况下，入侵那里的建筑，”这是在提及20*1月6日发生在美国国会大厦的*事件，当时有人错误地声称*党“窃取”了20*的大选。“聪明的事物可能会愈发聪明，以至于我们无法应对，”

辛顿表示，我们需要进行更多研究，以了解如何控制AI，而非让AI控制我们。

“我们希望找到一种方法，确保即使AI比我们更聪明，它们也能为我们带来好处——这就是所谓的对齐问题，”他说，“我希望能找到一个简单的解决方案来应对这个问题，但实际上我没有。”

辛顿表示，设置“防护栏”和其他安全措施听起来可行，但一旦AI系统远比人类更聪明，这些措施是否还有效。“想象一下你两岁的孩子说，我爸爸做了我不喜欢的事情，所以我要给他制定一些规矩。”他暗示了人类和AI之间可能存在的智力差距。“你可能会设法在遵守这些规则的同时，依然实现自己想要的目标。”

“我们是经过演化的生物，我们有一些内在的目标，我们很难摆脱。比如，我们会尽量避免伤害自己的身体，这就是痛苦存在的意义。但这些数字智能并没有经历演化，而是由我们创造，所以它们并没有这些内在目标。如果我们能将这些目标植入其中，也许一切都会好起来。但我大的担忧是，迟早有人会把制定子目标的能力植入到这些AI中……如果你赋予某个AI为实现其他目标而制定子目标的能力，它们很快就会意识到，获得更多的控制权是一个非常好的子目标，因为这有助于实现其他目标。”

他说，如果真的发生这种情况，“我们将面临巨大的麻烦。”

“我认为人们*，深入思考这个问题并寻找解决方案是非常重要的，”但对此，他并不乐观。事实上，我们还不能确定是否存在解决方案。

“我觉得，人类有可能仅仅是智能演化过程中的一个过渡阶段。”他表示。

辛顿指出，谷歌率先研发了大型语言模型，并对这项技术非常谨慎，因为该公司知道它可能导致严重的后果。但是，当OpenAI和微软决定推出这项技术时，谷歌实际上别无选择，“你无法阻止谷歌与微软展开竞争。”

辛顿在讲话后呼吁在控制这项技术方面进行国际合作。

“我的一个希望是，由于我们放任AI控制一切对所有人都不利，我们可以让美国和中国在这个问题上达成一致，就像我们在核武器问题上达成共识一样，因为核武器对所有人都是危险的。在这个生存威胁问题上，我们都同处于一个战船上。”

（本文首发钛媒体App）

热点视频推荐

一用户发推称：“马斯克来美国时身无分文，毕业时欠下了10万美元的债务，尽管他有奖学金，在校期间打了两份工。”马斯克写了一段长长的留言：“我成长在一个收入较低、正向中高收入过渡的家庭，但我的童年并不幸福。我没有从任何人那里继承过任何东西，也没有人给过我大额的金钱礼物。我父亲创建了一家小型电气/机械工程公司，成功了二三十年，但后来陷入了困境。他基本上已经破产25年了，需要我和我哥哥的经济支持。关于所谓的’翡翠矿’……如果这个矿是真的，他就不需要我和我哥哥的经济支持了。”

点赞关注钛媒体视频号，观看更多精彩视频*温馨提示：喜欢钛媒体公众号的小伙伴注意啦！根据公众号*新规，请将钛媒体设为“星标”，这样才能第一时间收到*消息，已设置的小伙伴还需要重新设置“星标”哦

———–华丽的分割线————

下载钛媒体App，领先一步，更深一度。