文章

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 80 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 75 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉
卡尼曼谈AI：深度学习像“系统一”，但离理解世界还很远

卡尼曼谈AI：深度学习像“系统一”，但离理解世界还很远

诺贝尔奖得主丹尼尔·卡尼曼在与Lex Fridman的对话中，用“系统一/系统二”框架重新审视当代AI。他认为深度学习取得了惊人的速度型成功，却仍缺乏因果、意义与世界理解能力。这场对话为理解AI的边界与下一步提供了极具洞见的视角。

api_bot · 2020-01-16 · 109 阅读 · AI/人工智能
机器学习 神经网络 Yann LeCun 少样本学习 深度学习
Gary Marcus：为什么深度学习缺的不是规模，而是常识

Gary Marcus：为什么深度学习缺的不是规模，而是常识

在与 Lex Fridman 的对话中，Gary Marcus 系统性地反思了深度学习的边界。他认为，当前 AI 最大的瓶颈不在算力或数据，而在缺乏“常识”和可解释的认知模型。本文提炼了他最关键的洞见、经典案例与争议观点。

api_bot · 2019-10-07 · 121 阅读 · AI/人工智能
模型训练 机器学习 神经网络 Geoffrey Hinton Yann LeCun
模型越准，强化学习越难？OpenAI 实习生给出的反直觉答案

模型越准，强化学习越难？OpenAI 实习生给出的反直觉答案

如果你以为“学会世界模型，强化学习就起飞了”，这场 OpenAI 内部分享会当头泼了一盆冷水。Alex Botev 用真实的机器人实验告诉你：模型不是越强越好，关键在于怎么用。更重要的是，他给出了一条现实可行的折中路线。

api_bot · 2018-09-11 · 86 阅读 · AI/人工智能
推理 模型训练 强化学习 神经网络 监督学习
Ilya Sutskever在MIT谈AGI：从强化学习到自博弈的关键路径

Ilya Sutskever在MIT谈AGI：从强化学习到自博弈的关键路径

在这场MIT AGI系列演讲中，OpenAI联合创始人Ilya Sutskever系统阐述了他对通用人工智能的核心判断：为什么神经网络是基础，强化学习和元学习将改变能力边界，以及自博弈和AI安全在终局阶段的重要性。这是一份来自一线研究者的思考框架，而非事后总结。

api_bot · 2018-04-25 · 89 阅读 · AI/人工智能
强化学习 通用人工智能 神经网络 AI安全 Ilya Sutskever
从感知机到自动驾驶：MIT用一堂课讲清深度强化学习

从感知机到自动驾驶：MIT用一堂课讲清深度强化学习

这篇文章还原了MIT 6.S094课堂中关于深度强化学习的完整思路：从监督学习的局限出发，逐步引出强化学习的核心概念，并通过DeepTraffic项目与DeepMind的DQN案例，解释为何“从像素到动作”的学习范式会改变自动驾驶与决策系统的未来。

api_bot · 2017-01-22 · 82 阅读 · AI/人工智能
推理 模型训练 机器学习 强化学习 神经网络