AI真的在变慢吗?从“算力神话”到推理时代的关键转向

AI PM 编辑部 · 2024年11月13日 · 6 阅读 · AI/人工智能

正在加载视频...

视频章节

围绕OpenAI、Google等前沿实验室的最新动向,一场关于“AI是否正在放缓”的争论正在发酵。这并非技术停滞,而是一次深刻的路径转向:从无限扩展预训练算力,走向以推理和测试时计算为核心的新范式。

AI真的在变慢吗?从“算力神话”到推理时代的关键转向

围绕OpenAI、Google等前沿实验室的最新动向,一场关于“AI是否正在放缓”的争论正在发酵。这并非技术停滞,而是一次深刻的路径转向:从无限扩展预训练算力,走向以推理和测试时计算为核心的新范式。

一场老问题的新爆点:AI进步是否开始放缓?

“AI是否正在变慢”并不是一个新问题,但这一次,它之所以重新成为焦点,是因为来自一线实验室的真实信号。The AI Daily Brief 指出,这场讨论几乎触及AI的一切核心议题——从安全、商业模式,到技术前沿乃至普通人的日常应用。

在这一轮讨论中,观点高度分裂。一派认为,只要不断堆叠算力和数据,模型性能仍会线性甚至指数级提升;另一派则认为,当前的大语言模型(LLM)架构根本不可能通向通用人工智能(AGI)。正是基于后者的判断,Yann LeCun 才会公开表示“AI 还不如一只猫聪明”,并认为由此引发的生存级风险讨论被严重夸大。

但一个几乎无人反对的共识是:即便AI在此刻完全停止进化,它已经足够有用,人类社会仍需要多年才能真正消化和适配现有能力。正因如此,如果AI进步的速度真的显著下降,其影响反而会更加深远——这意味着整个行业的假设前提需要被重写。

Orion的“不够惊艳”:OpenAI内部的警示信号

这轮讨论的直接导火索,来自《The Information》的一篇报道。报道称,OpenAI正在研究应对AI进步放缓的新策略。早在今年5月,CEO Sam Altman 曾对员工表示,其最新的前沿模型 Orion(并非GPT-5)将显著优于去年的旗舰模型。当时,Orion只完成了约20%的训练,却已经达到了 GPT-4 级别。

然而,几个月过去,情况出现了微妙变化。多位内部测试员工反馈:Orion 的确超过了现有模型,但提升幅度远不如 GPT-3 到 GPT-4 那样具有跨代意义。更值得警惕的是,在某些使用场景中,Orion 甚至无法稳定胜过上一代模型。一名员工直言:它在语言任务上更强,但在代码相关能力上并不一定更好。

考虑到“写代码”已成为大模型最重要的商业化用例之一,这一点并非小问题。这些信号并不意味着失败,而是提醒OpenAI:单纯依赖预训练规模扩张的老路,正在逼近边际收益的高墙。

从预训练到后训练:新的“第二条扩展定律”

当预训练扩展(scaling laws)遭遇瓶颈,行业开始转向另一个方向:后训练与推理阶段的优化。报道显示,OpenAI 已组建专门团队,研究在新数据日益稀缺的情况下,如何继续提升模型能力。其中包括使用其他AI生成的合成数据,以及在后训练阶段强化模型的推理过程。

一个关键背景是:当前的前沿模型,几乎已经“吃完了整个互联网”。继续扩大预训练,成本极高、收益却不确定。相比之下,更具想象力的转向,是把“规模”从训练阶段,迁移到推理阶段。

OpenAI 的 o1 模型正是这一思路的代表。Sam Altman 在发布时已暗示,o1 并非 GPT-4 的简单延续,而是大模型进化树上的一次分叉。如今看起来,OpenAI 正在明显倾向这条“推理路径”。正如 NVIDIA CEO Jensen Huang 所说:“我们发现了第二条扩展定律——发生在推理时间。”

20秒思考 vs 10万倍算力:一个颠覆直觉的实验

最具冲击力的故事,来自 OpenAI 研究员 Noam Brown。在旧金山 TED AI 的一次分享中,他提到一个实验:让AI在一手扑克中多“思考”20秒,所带来的性能提升,等同于把模型规模扩大10万倍,并训练10万倍更长时间。

这句话迅速在行业内流传,因为它彻底颠覆了“更大模型=更聪明AI”的直觉。它也揭示了一个现实代价:如果AI在推理阶段需要更多计算资源,那么未来的瓶颈,将从训练集群转移到推理基础设施。

红杉资本合伙人 Sonia Huang 将其总结为一次结构性转变:我们正在从“超大规模预训练集群”,走向“推理云(inference clouds)”——分布式、为实时推理服务的计算网络。这一变化,也可能重塑芯片产业格局:AMD、Intel 等厂商,或将在推理时代拥有更大的发挥空间。

不是停滞,而是转向:行业共识正在形成

类似的信号并非只来自 OpenAI。The Verge 报道称,Google 最新的 Gemini 模型,性能提升也未达内部预期。前 OpenAI 首席科学家 Ilya Sutskever 总结得更为诗意:“2010年代是扩展的时代,现在我们回到了惊奇与发现的时代。”

当然,也有大量声音反对“AI遇到瓶颈”的叙事。教授 Pedro Domingos 提醒,扩展定律本就应该是 S 曲线,而非永恒指数。Dan Shipper 则指出,外界的悲观解读,与他从实验室内部听到的氛围完全不符。

最终,连《The Information》也不得不澄清:这不是终点,而是方向改变。“Goodbye GPT, Hello Reasoning o”,并非告别进步,而是承认:预训练从来不是神圣不可替代的终极方案。正如 Shelley Palmer 所说:“LLM 没有失败,它们只是在进化。”

总结

这场关于“AI是否变慢”的争论,本质上是在重塑行业的成功标准。预训练规模的放缓,不是天花板,而是一个里程碑。真正的机会,正在向推理、测试时计算和系统级创新迁移。对从业者和观察者而言,重要的不是纠结速度是否下降,而是看清方向:AI的下一次跃迁,很可能发生在它‘思考’的那一刻。


关键词: AI推理, 大语言模型, 推理扩展, OpenAI, 通用人工智能

事实核查备注: 涉及人物:Sam Altman、Yann LeCun、Ilya Sutskever、Noam Brown、Jensen Huang;产品与模型:GPT-4、o1、Gemini、Orion(OpenAI内部代号);关键观点:20秒推理等同于10万倍规模训练;核心概念:预训练扩展定律、推理阶段扩展(test-time compute)、推理云。