ChatGPT 之父警告 AI 可能灭绝人类，350 名 AI 权威签署**-微咔网

正文概述

今天，AI 领域传出一封重要的*。

包括「ChatGPT 之父」Sam Altman 在内 350 位 AI 权威都签署了这封**，并对当前正在开发的 AI 技术可能会对人类构成生存威胁担忧。

这封信只有一句声明：降低人工智能灭绝的风险，应该与其它社会规模的风险（如大流行病和核战争）一样，成为全球的优先事项。

加入*签名

https://www.safe.ai/statement-on-ai-risk

签署人包括三个领先的 AI 公司高管：

OpenAI 首席执行官 Sam Altman；
Gооgle DeepMind 首席执行官 Demis Hassabis；
Anthropic 的首席执行官 Dario Amodei；

更重要的是，名单里还有 Geoffrey Hinton 和 Yoshua Bengio 两位人工智能的「教父」。

超过 350 名从事人工智能工作的高管、研究人员和工程师签署了这份由非盈利组织人工智能安全中心发布的*，认为人工智能具备可能导致人类灭绝的风险，应当将其视为与流行病和核战争同等的社会风险。

如今人们越来越担心 ChatGPT 等人工智能模型的发展可能对社会和就业带来的潜在威胁，很多人呼吁针对 AI 行业进行更强力的监管，否则它将对社会造成不可挽回的破坏。

AI 不断狂飙，但相关的监管、审计手段却迟迟没有跟上，这也意味着没有人能够保证 AI 工具以及使用 AI 工具的过程中的安全性。

在上周，Sam Altman 和另外两位 OpenAI 的高管提出应该建立类似国际原子能机构这样国际组织来安全监管 AI 的发展，他呼吁国际间领先的人工智能制造商应该展开合作，并要求*强化对尖端人工智能制造商的监管。

其实早在 3 月，就一篇有关叫停 6 个月 AI 研究的*火遍了全网。

该信呼吁所有的 AI 实验立即暂停研究比 GPT-4 更先进的 AI 模型，暂停时间至少 6 个月，为的就是把这些可怕的幻想扼杀在摇篮之中。

AI 的进步速度实在过于惊人，但相关的监管、审计手段却迟迟没有跟上，这也意味着没有人能够保证 AI 工具以及使用 AI 工具的过程中的安全性。

该*信已经获得了包括 2018 年图灵奖得主 Yoshua Bengio、马斯克、史蒂夫 · 沃兹尼亚克、Skype 联合创始人、Pinterest 联合创始人、Stability AI CEO 等多位知名人士的签名支持，截稿前*人数已经达到 1125 人。

*的原文如下：

人工智能具有与人类竞争的智能，这可能给社会和人类带来深刻的风险，这已经通过大量研究 [1] 得到证实，并得到了顶级 AI 实验室的认可 [2]。正如广泛认可的阿西洛马尔人工智能原则（Asilomar AI Principles）所指出的，先进的 AI 可能代表地球生命历史上的重大变革，因此应该以相应的关注和资源进行规划和管理。

不幸的是，即使在近几个月， AI 实验室在开发和部署越来越强大的数字化思维方面陷入了失控的竞争，而没有人能够理解、预测或可靠地控制这些数字化思维，即使是它们的创造者也无法做到这一点。

现代 AI 系统现在已经在通用任务方面具有与人类竞争的能力 [3]，我们必须问自己：

我们应该让机器充斥我们的信息渠道，传播宣传和谎言吗？
我们应该将所有工作都自动化，包括那些令人满足的工作吗？
我们应该发展可能终超过、取代我们的非人类思维吗？
我们应该冒失控文明的风险吗？

这些决策不应该由非选举产生的科技领导人来负责。只有当我们确信 AI 系统的影响是积极的，风险是可控的，我们才应该开发强大的 AI 系统。这种信心必须得到充分的理由，并随着系统潜在影响的增大而增强。OpenAI 近关于人工智能的声明指出：「在某个时候，可能需要在开始训练未来系统之前获得独立审查，对于先进的努力，需要同意限制用于创建新模型的计算增长速度。」我们同意。现在就是那个时刻。

因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月的时间，不要训练比 GPT-4 更强大的 AI 系统。这个暂停应该是公开和可验证的，并包括所有关键参与者。如果无法迅速实施这样的暂停，*应该介入并实行一个暂禁令。

AI 实验室和独立专家应该利用这个暂停时间共同制定和实施一套共享的先进 AI 设计和开发安全协议，这些协议应该由独立的外部专家严格审核和监督。

这些协议应确保遵守它们的系统在合理怀疑范围之外是安全的 [4]。这并不意味着暂停 AI 发展，而只是从不断迈向更大、不可预测的黑箱模型及其突现能力的危险竞赛中退一步。

AI 研究和开发应该重点放在提高现有强大、先进系统的准确性、安全性、可解释性、透明度、鲁棒性、对齐、可信度和忠诚度。

与此同时，AI 开发者必须与制定者合作，大力加速 AI 治理*的发展。这些至少应包括：