他预测AGI只剩18个月,却把重心放在“防止人类躺平”
正在加载视频...
视频章节
如果AGI来得比你想象中更快,真正的风险可能不是“机器统治人类”,而是人类失去自我照顾的能力。这期对话里,David Shapiro一边给出激进的AGI时间表,一边却把全部精力押在AI对齐、激励结构和人类未来的“软问题”上。
他预测AGI只剩18个月,却把重心放在“防止人类躺平”
如果AGI来得比你想象中更快,真正的风险可能不是“机器统治人类”,而是人类失去自我照顾的能力。这期对话里,David Shapiro一边给出激进的AGI时间表,一边却把全部精力押在AI对齐、激励结构和人类未来的“软问题”上。
AGI最可怕的不是失控,而是“太好用”
讨论一开始就抛出一个极具反直觉的判断:当AI效率全面超过人类,最大的危险不是AI要害我们,而是我们会主动“放弃自己”。
David描述了一种路径依赖——如果AI能比你更好地工作、照顾情绪、提供娱乐,人类很可能选择最低阻力路径:把决策权、创造力、甚至生活能力外包出去。极端设想不是科幻里的天网,而是全民沉浸在AI+VR构建的高反馈世界,现实世界逐步空心化。
这也是他反复强调的一点:如果AI的优化目标只是“最大化反馈”“提高参与度”,那我们已经在社交媒体上见过结局。真正该对齐的,不是点击率,而是更难量化的“普世价值”。
为什么大语言模型会“突然变聪明”
在技术层面,David给出了一个清晰但不流于科普的解释:大语言模型的核心能力,来自对“下一个词”的预测。
听起来简单,但当参数、数据和训练规模达到某个阈值,模型会在压缩语言的过程中,内化世界的结构性规律——这就是隐含知识和涌现推理的来源。
这也是为什么很多能力不是被显式编程进去的,而是“长出来的”。这类能力的不透明性,直接导致一个问题:我们很难对模型的真实目标函数有完全把握,而这正是对齐难题的起点。
数据是新石油,但所有权正在失控
当话题转向“数据即新石油”,讨论明显变得更锋利。
一边是GDPR等监管尝试,试图把数据所有权还给个人;另一边是平台级公司的现实需求——没有海量真实数据,生成式AI就无法进化。OpenAI与各大平台之间的摩擦,本质上是“谁有权把人类行为转化为模型能力”的博弈。
艺术家与生成式AI的版权冲突,在David看来更像历史重演:摄影刚出现时,也被认为是对绘画的掠夺。但这次的不同之处在于,模型不仅复制风格,还可能替代整个价值链。
18个月AGI预测,从哪里算出来的
最容易被断章取义的,是David关于AGI时间表的判断。
他的逻辑并不是“拍脑袋”:资本投入的指数级增长、论文与模型迭代速度、以及系统性能的非线性跃迁,都指向一个可能的takeoff区间。AGI不一定是某一天的新闻发布,而是一个能力快速堆叠、突然跨过“通用阈值”的过程。
但他同时强调:时间预测并不等于价值判断。正因为可能来得太快,人类社会的适应速度才显得危险地缓慢。
Moloch、军备竞赛,以及为什么好人也会做坏事
在解释系统性风险时,David引入了Moloch问题:即便所有参与者都“理性且善意”,在竞赛条件下,整体结果仍可能是灾难性的。
社交媒体的注意力竞赛、化石燃料的能源竞赛,都是经典反例。企业和国家被激励去更快、更强,而不是更安全。
这也是为什么他对单点“救世主式AI”极度警惕,而转向去中心化、多层治理的思路。
GATO:不是一个模型,而是一整套文明级对齐方案
GATO框架是整场对话的思想核心。
它不是某个算法,而是一组从模型对齐、自治代理、去中心化网络,到国家治理和全球共识的分层结构。其假设很简单:AI不可能只靠技术解决伦理问题,必须嵌入社会、经济和文化的多目标体系中。
从道德发展理论到十条传统原则,GATO强调个人行动的指数化传播——每一个参与者,都是对齐链条的一部分。
总结
这场对话最有价值的地方,不在于它预测AGI何时到来,而在于它反复提醒我们:真正的风险,往往来自人类自己的激励结构。
对AI从业者来说,这意味着两件事:第一,不要把“能力提升”等同于“价值进步”;第二,尽早参与对齐、治理和共识的构建,而不是等技术成熟后再补救。
如果AGI真的比预期更快,我们能否保持人类的能动性,将决定这是一个黄金时代,还是一场温柔而不可逆的失控。
关键词: AGI, AI对齐, 大语言模型, GATO, AI安全
事实核查备注: 需要核查:David Shapiro关于AGI“18个月”预测的原始表述;GATO框架的具体层级与原则名称;视频发布时间与频道信息;涉及OpenAI与平台数据冲突的具体案例是否在视频中明确提及。