← 返回

已收录完整度 0%

John Schulman

Q103236782

美国计算机科学家

✨ AI贡献：他作为OpenAI联合创始人及首席科学家，领导开发了强化学习算法PPO和ChatGPT，深刻推动了AI对齐与实用化发展。来源：OpenAI官网、公开论文

计算机科学家

员工

Thinking Machines Lab

2025 - 至今

员工

Anthropic

2024 - 2025

员工

OpenAI

2015 - 2024

doctorate

加州大学伯克利分校

学生

加州理工学院

📰 新闻

ChatGPT 的联合创始人兼首席科学家

John Schulman 是 OpenAI 的联合创始人，并领导了 ChatGPT 的创建。在 2022 年至 2024 年期间，他共同领导了后训练团队，该团队为 ChatGPT 和 OpenAI API 开发模型。他目前是 Thinking Machines 的联合创始人兼首席科学家。

OpenAI ChatGPT 联合创始人首席科学家

强化学习核心算法TRPO与PPO的提出者

John Schulman在其博士论文《优化期望：从深度强化学习到随机计算图》中，提出了确保策略更新带来单调改进的理论，并开发了实用方法——信任区域策略优化（TRPO）。TRPO在模拟机器人运动和Atari游戏等挑战性任务上表现出色。后续，他还提出了近端策略优化（PPO）算法。这些算法被OpenAI广泛用于机器人和Dota等项目，并成为深度强化学习领域的基石。

强化学习 TRPO PPO 算法

🚀 项目

信任区域策略优化 (TRPO) 确保策略单调改进

TRPO 是 Schulman 提出的一种策略优化方法。其核心思想是在更新策略时，通过约束新旧策略之间的 KL 散度来形成一个信任区域，从而保证每次更新都能带来性能的单调改进。该方法在机器人模拟和 Atari 游戏等复杂任务上取得了成功。

强化学习算法策略优化 TRPO OpenAI

一种低方差的KL散度蒙特卡洛近似方法

Schulman提出了一种用于估计KL散度的实用技巧。标准的蒙特卡洛估计使用样本平均 log(q(x)/p(x))。他提出使用样本平均 0.5 * (log p(x) - log q(x))^2 作为替代估计量。这种方法虽然是有偏的，但方差更低，在只需要将KL散度作为诊断工具（如强化学习中常见）且计算或存储完整分布不便时尤其有用。博文中还讨论了如何使其成为无偏估计量。

机器学习概率估计蒙特卡洛方法 KL散度

深度强化学习研究的新问题处理流程

Schulman在《深度强化学习研究的细节》演讲中，为处理新问题提供了具体方法论。对于新算法，建议使用小型测试问题快速实验、进行超参数搜索、可视化学习过程（如状态访问、价值函数），但要避免算法过度拟合于人为构造的问题。对于新任务，则应先简化任务直到出现“生命迹象”，例如提供良好的输入特征、设计奖励函数，并可视化随机策略以观察其是否偶尔表现出期望行为。

强化学习实验方法问题解决

📝 简介

从伯克利博士到OpenAI联合创始人，领导创建ChatGPT

John Schulman 在完成伯克利计算机科学博士学位后，于2015年共同创立了OpenAI。在OpenAI，他领导了强化学习团队，并最终带领团队开发出了ChatGPT。从2022年到2024年，他还共同领导了后训练团队，负责为ChatGPT和OpenAI API开发模型。

职业生涯 OpenAI ChatGPT 创业

从物理学到神经科学，最终成为AI领军人物

John Schulman的学术背景体现了跨学科的探索路径。他最初在加州理工学院学习物理学，随后在伯克利短暂涉足神经科学领域，最终在伯克利攻读计算机科学博士学位，师从Pieter Abbeel，专注于机器人学和强化学习。这条从基础科学到前沿AI应用的路径，为他后来在深度强化学习算法（如TRPO、PPO）上的突破，以及共同创立OpenAI并领导ChatGPT开发奠定了独特的知识基础。

学术生涯跨学科 OpenAI 强化学习

从物理学到神经科学再到AI的跨界研究之路

John Schulman的教育和研究背景体现了显著的跨界性。他最初在加州理工学院学习物理学，随后在伯克利短暂涉足神经科学领域，最终在伯克利攻读计算机科学博士学位，师从Pieter Abbeel，专注于机器人与强化学习。这条从基础科学到生命科学，再到前沿计算机科学的路径，为他后来在OpenAI领导开创性AI项目（如ChatGPT）奠定了独特而深厚的跨学科基础。

教育背景跨界研究职业生涯

创建 Gym Retro：RL 的“ImageNet”

Schulman 领导创建了 Gym Retro，这是一个包含数千款游戏的数据集，旨在成为强化学习的“ImageNet”。其目标不仅是让 AI 在游戏上超越人类，更是挑战 AI 能否像人类一样，在已有类似游戏训练的基础上，快速解决前所未见的游戏。该项目整合了超过 1000 款游戏，并举办了公开竞赛。

OpenAI Gym Retro 数据集游戏AI 研究挑战

🏆 成就

强化学习的核心是优化期望回报

John Schulman 在其博士论文中将强化学习视为一个优化问题：最大化策略参数下的期望总回报。这一观点贯穿了他的研究，并引导他开发了如 TRPO 和 PPO 等关键算法，旨在使基于神经网络的策略梯度方法更高效、更可靠。

强化学习优化理论策略梯度博士论文

机器学习研究的成功三要素

John Schulman认为，机器学习研究成功的关键在于三个要素：选择正确的问题、在问题上取得持续进展、以及实现持续的个人成长。他建议研究者思考哪些ML成果对自己最有启发，并分析其突出之处——无论是改变视角的突破性结果、可复用的算法思想，还是对某个反复出现问题的深刻洞见。

机器学习研究方法职业发展

💬 名言

强化学习本质上是一个优化问题

在其博士论文《优化期望：从深度强化学习到随机计算图》的开篇，Schulman明确指出：“本论文主要关注强化学习，并将其视为一个优化问题：即关于策略参数最大化期望总奖励。” 这一观点将强化学习的核心抽象为一个清晰的数学目标，为其后续提出TRPO、PPO等旨在更高效、更稳定地解决此优化问题的算法奠定了思想基础。

强化学习优化博士论文核心思想