Jan Leike

Q123130693

人工智能安全研究员

✨ AI贡献：他领导了OpenAI的超级对齐团队，致力于确保未来超级人工智能的安全性与人类价值观一致，是该领域安全研究的核心倡导者与实践者。来源：公开资料

人工智能研究员

员工

OpenAI

哲学博士

Australian National University

2016

🏆 成就

AI对齐的核心是解决“困难意图跟随”问题

Jan Leike将AI对齐研究的核心定义为“困难的对齐问题”：如何训练AI系统，使其在人类难以评估的任务上遵循人类意图。这超越了简单的指令跟随，要求AI在复杂、模糊甚至超出人类理解范围的场景中，依然能捕捉并执行人类的真实目标。他的研究旨在为后AGI时代的人类繁荣奠定基础。

AI对齐 AGI安全意图跟随研究目标

AIXI理论存在根本性局限：依赖于通用图灵机选择

Leike与Hutter的研究揭示了AIXI（通用人工智能理论模型）的根本缺陷：其最优性属性严重依赖于通用图灵机的选择。在不利或对抗性的UTM选择下，AIXI可能表现极差。这表明AIXI是一个相对理论，而非绝对标准，所有现有最优性属性都被削弱。这对将AIXI作为AI黄金标准的观点提出了挑战。

AIXI 通用人工智能理论算法信息论理论局限

📰 新闻

Jan Leike：从DeepMind到OpenAI再到Anthropic的AI对齐领军者

Jan Leike是AI安全与对齐领域的顶尖研究者。他拥有澳大利亚国立大学强化学习理论博士学位。职业生涯轨迹：在DeepMind期间，他原型开发了“从人类反馈中强化学习”。在OpenAI，他共同领导了超级对齐团队，参与了InstructGPT、ChatGPT的开发以及GPT-4的对齐工作，并制定了OpenAI的对齐研究方法。2024年，他离开OpenAI，加入Anthropic领导对齐科学团队。2023年和2024年，他均被《时代》杂志评为AI领域最具影响力的100人之一。

职业生涯 AI对齐行业影响时代百大AI人物

从DeepMind到OpenAI再到Anthropic的顶尖对齐研究者

Jan Leike是AI对齐领域的核心人物。他曾在DeepMind参与强化学习人类反馈（RLHF）的原型开发，后在OpenAI共同领导超级对齐团队，深度参与了InstructGPT、ChatGPT的开发以及GPT-4的对齐工作，并制定了OpenAI的对齐研究方法。2023年和2024年，他两度被《时代》杂志评为全球AI领域百大最具影响力人物。目前，他领导着Anthropic的对齐科学团队。

职业轨迹 AI影响力超级对齐 RLHF

🚀 项目

“弱到强泛化”：用弱监督激发强能力

Jan Leike参与提出并验证了“弱到强泛化”方法。该方法的核心思想是：一个能力较弱的监督模型（如人类监督员或较小的AI模型）可以通过适当的训练框架，引导和激发出一个能力强大得多的模型（如大型语言模型）遵循其意图，即使弱监督者本身无法完全理解或执行复杂任务。这为解决对齐超越人类水平的AI系统提供了关键思路。

弱监督泛化对齐方法监督学习

形式化解“真理颗粒”问题

在多智能体环境中，一个贝叶斯智能体要预测其他智能体的策略，其先验必须包含“真理颗粒”（即给这些策略分配正概率）。Leike与合作者构建了一个策略类，其中包含了所有可计算策略，以及针对该类上任意下半可计算先验的贝叶斯最优策略，从而形式化地解决了完整的“真理颗粒”问题。这为未知环境中基于汤普森采样的智能体收敛到ε-纳什均衡提供了理论基础。

多智能体系统贝叶斯推理博弈论汤普森采样

提出“探索潜力”作为强化学习探索的衡量标准

Leike在2016年提出了“探索潜力”这一概念，用于衡量强化学习智能体对其环境类的探索程度。与仅考虑信息增益的方法不同，探索潜力将问题的奖励结构纳入考量，从而产生一个对渐进最优性（在整个环境类中学会最优行动）既必要又充分的探索准则。这为理解算法如何在探索与利用之间做出权衡提供了理论框架。

强化学习探索与利用渐进最优性理论框架

💬 名言

“为后AGI时代人类繁荣而优化”

Jan Leike的个人座右铭是“Optimizing for a post-AGI future where humanity flourishes”。这句话浓缩了他的终极愿景：AI发展的最终目标不是技术本身，而是确保在超越人类智能的通用人工智能（AGI）出现后，人类文明能够持续繁荣。这体现了一种以人类福祉为中心的长期主义AI安全观。

AGI未来人类繁荣长期主义 AI安全