从捐款困惑到AI末日:Holden Karnofsky的长期主义之路

AI PM 编辑部 · 2022年10月21日 · 1 阅读 · AI/人工智能

正在加载视频...

视频章节

这场对话串起了有效利他主义从草根实验到关注AI灭绝风险的完整脉络。Holden Karnofsky以个人捐赠困惑为起点,解释GiveWell与Open Philanthropy的方法论转折,并系统阐述为何他认为本世纪可能是决定人类未来的“最重要世纪”。

从捐款困惑到AI末日:Holden Karnofsky的长期主义之路

这场对话串起了有效利他主义从草根实验到关注AI灭绝风险的完整脉络。Holden Karnofsky以个人捐赠困惑为起点,解释GiveWell与Open Philanthropy的方法论转折,并系统阐述为何他认为本世纪可能是决定人类未来的“最重要世纪”。

为什么“如何捐钱”会引出一整套世界观

这场对话一开始并不是谈AI,而是谈捐款。主持人通过一连串观众投票,抛出看似朴素却极具冲突的问题:未来世代是否比当代更重要?人类灭绝的概率是否值得认真对待?如果只能捐一笔钱,是该优先救眼前的人,还是押注遥远但巨大的风险?这些问题勾勒出有效利他主义(Effective Altruism)的核心张力。

Holden Karnofsky的立场并不激进,但非常明确:当资源高度充裕时,忽视“规模极大但发生概率不确定的风险”本身就是一种不理性。他指出,许多争议并非源于冷漠,而是源于不同人对“道德责任边界”的直觉差异。他也坦承,有效利他主义并不是给所有人的行动指南,而是主要面向“已经解决了基本生存问题的人”。正如他所说的那样:“如果你有大量可支配资源,问题就不再是‘要不要帮助’,而是‘怎样才能帮助得最多’。”

GiveWell的诞生:从行政成本到“每一美元的影响”

Holden回顾了2004到2007年的个人经历:他和朋友在捐款时发现,几乎所有主流慈善评估工具(如Charity Navigator)都高度关注行政成本比例,却很少回答一个更根本的问题——钱是否真的改变了结果。这种困惑在Bridgewater内部形成了一个小型讨论俱乐部,最终催生了GiveWell。

GiveWell最早的突破,并不是找到“完美慈善机构”,而是明确拒绝错误指标。Holden直言,以低行政成本作为质量信号,往往会惩罚那些认真评估和改进项目的组织。取而代之,GiveWell尝试估算“每一美元能产生多大可验证影响”,哪怕这种估算充满不确定性。

由于团队缺乏传统慈善领域的权威背景,GiveWell选择了一条更艰难的路:极端透明。他们公开研究过程、假设、失败案例,让读者直接判断推理是否站得住脚。Holden形容这是在用写作“抵消资历不足”,也是建立信任的唯一方式。

从美国本土到全球健康:一次冷酷但必要的转向

GiveWell早期评估过教育、艺术、美国本土社会项目,但很快发现一个令人不安的事实:在海外全球健康与贫困领域,同样的钱往往能带来数量级更高的效果,而且证据质量反而更好。随机对照试验在疟疾防治、驱虫等领域更常见,也更容易衡量结果。

这促成了一次战略性收缩。GiveWell逐步将推荐集中在少数高性价比干预上,例如疟疾防治蚊帐和驱虫项目。Holden并未回避争议,尤其是驱虫项目在长期收益上的不确定性。他强调,GiveWell并不声称“确定无疑”,而是试图在不确定性下做出期望值最高的选择,并允许捐赠者根据个人风险偏好做决定。

他用一句话概括这种态度:“我们不是在寻找完美答案,而是在避免明显更差的答案。”

Open Philanthropy与“命中空间”:押注少数改变历史的成功

与Dustin Moskovitz和Cari Tuna的合作,标志着Holden思路的再次跃迁。GiveWell Labs后来演变为Open Philanthropy,其核心不再是筛选成熟项目,而是主动探索高风险、高回报的“命中空间”。

Holden用历史案例解释这一逻辑:绿色革命、避孕药的研发,都不是线性、稳妥的投资,但一旦成功,足以抵消无数失败尝试。Open Phil因此采用“重要性、忽视性、可行性”三标准,去寻找那些潜在影响巨大、却鲜有人投入、且理论上可推进的领域。

这也解释了为什么他们会资助看似遥远的议题,如土地使用改革、移民制度或宏观经济政策研究——这些并不保证成功,但成功一次就可能重塑长期轨迹。

最重要的世纪:当AI让长期主义变得紧迫

对话的最后三分之一转向AI安全与长期主义。Holden系统区分了“长期主义”和“全球灾难风险”视角:前者关注未来世代的道德权重,后者关注我们正处在技术放大风险的时代。即使不接受极端长期主义,仅仅降低人类灭绝概率,本身就具有巨大价值。

他提出并捍卫“最重要世纪”假说:随着自动化科研型AI的出现,科学进步可能进入指数级加速阶段,但人类对系统的控制能力未必同步提升。这种失配,使本世纪在塑造长期未来上异常关键。他直言,真正令人担忧的不是具体某个模型,而是“我们是否在能力飞跃前,建立起足够稳健的对齐、治理和协调机制”。

因此,Open Phil在AI对齐研究、监管协调、第三方标准组织上持续投入,同时也关注动物福利、替代蛋白等长期结构性议题。在他看来,避免灾难并不需要确定的预言,只需要承认风险的规模,并认真对待。

总结

这场访谈的价值,不在于给出简单答案,而在于展示了一条罕见而连贯的思想路径:从个人捐赠焦虑,到量化影响的方法论,再到对人类长期命运的系统性关切。Holden Karnofsky并未声称自己“确定正确”,但他反复强调,在高风险、高不确定性的时代,最危险的选择往往是什么都不做。对读者而言,这既是一次关于AI安全的警醒,也是一次关于如何理性使用资源的深刻提醒。


关键词: 有效利他主义, GiveWell, Open Philanthropy, AI安全, 长期主义

事实核查备注: Holden Karnofsky(GiveWell联合创始人、Open Philanthropy联席CEO);GiveWell、GiveWell Labs、Open Philanthropy名称与演变;Charity Navigator以行政成本为核心的评估方式;疟疾防治、驱虫项目作为GiveWell代表性推荐;“重要性、忽视性、可行性”三标准;“最重要世纪”假说与自动化科研型AI、AI对齐、AI安全等概念。