前OpenAI员工集体发声:AGI风险,比失去期权更可怕

AI PM 编辑部 · 2024年06月06日 · 9 阅读 · AI/人工智能

正在加载视频...

视频章节

如果你在一家顶级AI实验室工作,发现系统可能失控,你敢不敢说?一封由OpenAI、DeepMind、Anthropic前员工联名的公开信,把“AGI风险”“封口协议”“举报权利”推到台前,也暴露出AI安全讨论正在发生的微妙转向。

前OpenAI员工集体发声:AGI风险,比失去期权更可怕

如果你在一家顶级AI实验室工作,发现系统可能失控,你敢不敢说?一封由OpenAI、DeepMind、Anthropic前员工联名的公开信,把“AGI风险”“封口协议”“举报权利”推到台前,也暴露出AI安全讨论正在发生的微妙转向。

AI安全从边缘话题,到突然失声

时间拨回到ChatGPT刚爆火的几个月后。AI安全研究者突然发现,自己多年来的警告被主流社会“听见了”:《时代》周刊封面写着“AI可能杀死我们”,暂停6个月研发的公开信刷屏,Sam Altman被OpenAI董事会罢免又迅速复职。那是AI安全话语权的巅峰时刻。

但有意思的是,恰恰在Altman回归之后,AI安全,尤其是“人类灭绝级风险(x-risk)”的讨论开始迅速降温。并不是风险被解决了,而是讨论本身失去了动能。就在这个背景下,一封名为《Right to Warn》的公开信出现了——它不是来自激进的外部批评者,而是来自当前和前任一线AI实验室员工

这封信的存在本身,就在提醒一个不舒服的事实:当最了解模型能力与失控边界的人,开始担心自己“不能说话”,事情本身已经偏离了正常轨道。

“我们知道风险,但我们被要求保持沉默”

这封公开信的语气并不激进,甚至相当克制。签署者明确承认AI“有潜力带来前所未有的好处”,但紧接着列出了风险清单:不平等加剧、操纵与虚假信息、以及最严重的——对自治AI系统的失控,可能导致人类灭绝。

关键不在于这些风险是否存在——AI公司和各国政府早已承认它们存在。真正尖锐的是接下来的判断:企业无法被指望在没有有效监管的情况下,自愿披露真实风险信息

原因很现实:
- AI公司掌握着外界无法获得的关键信息(模型能力、失效模式、保护措施是否有效);
- 财务激励天然推动“快点发布”,而不是“慢点验证”;
- 严苛的保密协议和不诋毁条款,让员工即便发现系统性风险,也只能“向公司内部反映”。

而普通的吹哨人保护机制并不适用,因为它们通常只覆盖违法行为,而不是“尚未被法律定义、但可能极其危险的技术风险”。

一句话总结这封信的核心逻辑是:在AGI问题上,最接近真相的人,反而最没有发声空间。

失去期权,也要保留说话的自由

如果前面的内容还偏制度讨论,Daniel Kokotajlo的个人经历,则把问题拉回到血肉层面。

他在公开声明中写道,自己离开OpenAI,是因为“失去了对公司在追求AGI时会负责任行事的信心”。他原本期待,随着系统能力增强,公司会把更多资源投入安全研究,但这个转向并未发生。

真正的转折点出现在离职时。OpenAI要求他签署包含不诋毁条款的文件,否则将失去已归属的股权。他和妻子权衡之后,选择了拒绝——60天后,这部分权益作废。

他说得很直白:

“这些系统不是普通软件,而是从海量数据中学习的神经网络。关于可解释性、对齐和控制的研究仍处在早期阶段,我们其实并不知道,当它们变得更聪明时,是否还会与人类利益保持一致。”

在监管几乎缺位、公众对技术细节严重信息不对称的情况下,压制研究人员的声音,本身就是一种风险放大器。耐人寻味的是,Kokotajlo一边肯定OpenAI后来承诺修改政策,一边也直言:如果不是在巨大舆论压力下,这种“纠偏”可能根本不会发生。

这封信,反而可能让AI安全更边缘化

真正复杂的地方在于:这封信并没有带来一致的支持。

Joshua Chaitin在一条长帖中提出了尖锐反对。他明确表示尊重签署者,但认为这封信犯了一个致命错误:它事实上主张,让少数安全人员基于个人判断,随时公开披露前沿实验室的敏感信息

在他看来,这种“完全开放”的披露本身就可能是危险的,甚至会制造新的安全问题。

更微妙的是公众反应。很多人并没有被说服,反而提出了一个看似朴素、但杀伤力极强的反问:

“如果事情真的那么危险,你们为什么还要先争取‘被允许说话’?”

这直接把AI安全阵营推入一个尴尬境地:要么你相信风险迫在眉睫,那道德上就不该保持沉默;要么你选择遵守程序,那公众就会怀疑风险是否被夸大。

视频作者的判断很悲观:如果类似争议持续,OpenAI等公司可能会从“口头支持AI安全”,转向彻底与‘人类灭绝级风险’叙事切割,甚至将其描绘成危言耸听。这不是安全问题被解决了,而是讨论它的空间正在收缩。

总结

这场争论真正值得AI从业者警惕的,不是某一封信对错与否,而是一个更大的趋势:当技术进展快到制度跟不上,说真话本身会变成一种职业风险。

如果你在AI行业,这意味着三件事。第一,安全不是抽象道德,而是组织结构和激励设计的问题;第二,不要低估信息不对称在塑造公众认知中的力量;第三,未来真正稀缺的,可能不是更强的模型,而是既懂技术、又敢承担责任的发声机制

一个值得你带走的问题是:如果明天你发现模型存在“尚未违法、但可能灾难性”的风险,你希望自己处在一个怎样的制度环境中?这个答案,决定了AI会不会在某个时刻,跑得比我们更快。


关键词: AGI风险, AI安全, OpenAI, 吹哨人保护, AI对齐

事实核查备注: 需核查事实:1)公开信《Right to Warn》的发布时间与签署人数;2)匿名与实名签署者比例;3)Yoshua Bengio、Geoffrey Hinton、Stuart Russell的背书方式;4)Daniel Kokotajlo关于期权与不诋毁条款的具体描述;5)Sam Altman被解雇与复职的时间节点。