写出《超级智能》的那个人,开始认真思考一个更可怕的问题

AI PM 编辑部 · 2024年05月05日 · 3 阅读 · AI/人工智能

正在加载视频...

视频章节

10年前,他警告全世界:AI 可能毁灭人类;10年后,他却反问:如果 AI 把一切都“修好了”,人类还剩下什么?Nick Bostrom 的新书《Deep Utopia》,不是乐观宣言,而是一枚扔进 AI 圈的思想炸弹。

写出《超级智能》的那个人,开始认真思考一个更可怕的问题

10年前,他警告全世界:AI 可能毁灭人类;10年后,他却反问:如果 AI 把一切都“修好了”,人类还剩下什么?Nick Bostrom 的新书《Deep Utopia》,不是乐观宣言,而是一枚扔进 AI 圈的思想炸弹。

那个“最怕 AI 的人”,突然开始讨论乌托邦

如果你在 AI 圈混过几年,几乎不可能没听过 Nick Bostrom 的名字。2014 年那本《Superintelligence》,定义了整整一代人对“AI 灭绝风险(X-risk)”的想象:正交性原理、失控的超级智能、无法逆转的灾难性后果。Elon Musk、Bill Gates 公开推荐,AI 安全运动由此成型。

也正因为如此,当 Bostrom 在 2024 年推出新书《Deep Utopia: Life and Meaning in a Solved World》时,很多人的第一反应是:他是不是“转向了”?

答案是否定的。Bostrom 并不是突然变成科技乐观主义者,而是做了一件更不舒服的事——他把问题翻了个面。

过去十年,整个行业都在问:如果 AI 出错怎么办?

而他现在问的是:如果 AI 没出错,甚至把所有问题都解决了,人类怎么办?

在谈乌托邦之前,他先把自己的“原罪”摊在台面上

任何严肃讨论 Bostrom,都绕不开争议。

1996 年,他在一封邮件中使用种族歧视性语言,并讨论“种族与智力”的问题。尽管后来道歉、调查也认定他并非种族主义者,但这件事至今仍是他身上洗不掉的阴影。再加上他与“有效利他主义”运动的深度绑定,而该运动最知名的公众形象 Sam Bankman-Fried 如今因欺诈入狱 25 年,这些都让 Bostrom 成为一个极其复杂、甚至让人不安的思想源头。

更具象征意义的是:就在 2024 年 4 月,他一手创立的“未来人类研究所”(Future of Humanity Institute)被悄然关闭。

某种程度上,《Deep Utopia》更像是一位站在旧时代废墟上的思想清算:如果我之前推动的讨论已经完成了历史使命,那下一步该谈什么?

从“世界如何毁灭”,到“世界如果被彻底解决”

Bostrom 给出的理由非常直接。

他在接受《Wired》采访时说:过去十年,AI 对齐和安全问题的关注度发生了质变。几乎所有前沿 AI 实验室都有对齐研究组,政治层面也开始介入监管。换句话说,《超级智能》当年想“唤醒警觉”的目标,基本达成了。

但另一个问题几乎没人认真想过:如果我们真的避开了所有坑呢?

如果疾病被消灭、资源变成近乎无限、工作不再是生存条件、智能不再稀缺——那样的世界,对“人类意义”意味着什么?

Bostrom 的核心判断非常冷静:即便是最理想的 AI 结局,也不会是一个简单的好消息。

“我们可能不再需要做很多现在被视为人生核心的事情。”

这不是科幻浪漫,而是存在论危机。

真正让人不安的,不是失业,而是“你不再被需要”

在《Deep Utopia》的语境里,失业反而是个太浅的问题。

更深一层的是:当超级智能能在几乎所有维度上碾压人类,人类的价值锚点会发生断裂。

工作、创造、决策、探索——这些构成现代社会“有用之人”定义的要素,可能同时失效。甚至连“智能”本身,都可能不再是人类独占的属性,数字心智(digital minds)会成为社会的一部分。

Bostrom 并没有给出答案。他反复强调的一句话是:

“我仍然感到非常迷茫。”

这在一个越来越被观点对立、路线站队占据的 AI 讨论场里,反而显得格外稀缺。他拒绝给读者一个舒服的结论,而是逼你意识到:我们甚至还没准备好提出正确的问题。

为什么“想象好结局”,反而是当下最重要的事

视频最后,The AI Daily Brief 给出了一个极其重要的判断:

如果 AI 的未来真的可能是好的,那我们今天的很多决策,其实是在“提前锁定”那个好结局的形态。

是否接受更短的工作周?
是否重构社会福利和贡献标准?
是否承认“不工作”也可以是体面人生?

这些问题不可能等世界彻底改变之后再讨论。

对 AI 从业者来说,这意味着一件事:你不只是在写模型、调参数、堆算力。你参与的是一场对“未来默认选项”的提前设计。

而 Bostrom 的提醒是:如果我们不主动想象自己想要的世界,技术会替我们做决定。

总结

Nick Bostrom 的转向,并不是从“恐惧 AI”走向“拥抱 AI”,而是从单一灾难叙事,走向更艰难的价值拷问。对 AI 从业者来说,这本书和这场讨论的真正意义在于:你需要同时具备两种能力——防止最坏的发生,以及想清楚最好发生时你是否还能接受那个世界。真正成熟的行业,不只是会踩刹车,也要知道目的地在哪里。


关键词: Nick Bostrom, 超级智能, AI安全, AI对齐, 技术乌托邦

事实核查备注: 需要核查:Nick Bostrom 新书《Deep Utopia》发布时间;Future of Humanity Institute 于 2024 年 4 月关闭的具体时间;Sam Bankman-Fried 判刑年限(25 年);《Superintelligence》出版年份(2014)。