GPT-4还没看懂,下一代AI已经来了:三条线索指向ChatGPT之后的世界
如果你以为ChatGPT已经是AI的终局,那你可能低估了这一波技术浪潮的速度。就在多数人沉迷Prompt技巧时,OpenAI、Anthropic 和 Meta 已经同时向前迈了一步:搞懂模型、约束模型、以及——超越语言模型本身。
如果你以为ChatGPT已经是AI的终局,那你可能低估了这一波技术浪潮的速度。就在多数人沉迷Prompt技巧时,OpenAI、Anthropic 和 Meta 已经同时向前迈了一步:搞懂模型、约束模型、以及——超越语言模型本身。
IBM宣布“用AI替代7800个岗位”,但真相比裁员更冷酷;亚马逊不满足于Bedrock,直接重做Alexa的大模型;而UT Austin的研究,已经能把脑电活动翻译成文字。更耐人寻味的是,这一切背后,AI教父Hinton选择了离开。
AI 能把你“想的内容”变成文字了,而且不是关键词匹配,而是理解语义后的复述。这项登上《Nature Neuroscience》的研究,让无数人第一次认真思考:大模型和人脑,可能比我们想象的更像。
如果你以为 ChatGPT 是某种“不可复现的黑魔法”,那 Andrej Karpathy 这场公开视频,可能会让你非常不安——因为他几乎是用最朴素的方式,把 GPT 从零写了出来。从字符级建模到 Transformer 内核,这不是科普,而是一次赤裸裸的技术摊牌。
很多人以为 Karpathy 这一集是在教你实现一个 WaveNet,但真正让无数从业者反复回看的,是他如何一边写代码、一边拆掉“看起来能跑”的坏抽象。这是一堂关于神经网络工程化、可维护性,以及如何在实战中逼近 PyTorch 思维方式的硬核课程。
很多人以为神经网络训练不好,是架构不行、数据不够、算力太小。但 Karpathy 在 makemore 第三讲直接揭穿了一个更残酷的事实:大多数失败,发生在训练开始的第一秒——初始化、激活值和梯度,早就把结局写好了。
Karpathy 在 makemore 第二讲里,亲手演示了一个残酷事实:你以为还能靠统计和技巧硬撑的模型,会在规模一上来时彻底崩溃。而真正的转折点,不是调参,而是那一刻你被迫引入神经网络。
你可能以为大语言模型的秘密藏在万亿参数里,但 Karpathy 用一小时告诉你:一切可以从“最笨”的字符统计开始。这段视频最狠的地方在于,它把语言模型从神坛拉回到白板,用一个个可数、可画、可验证的步骤,让你真正理解模型在“想什么”。
大多数人用 PyTorch 写神经网络,却从没真正“看见”梯度是怎么流动的。Andrej Karpathy 用一个叫 micrograd 的极简项目,亲手拆开了反向传播的黑箱:没有魔法、没有框架,只有链式法则。这支视频讲的不是“怎么用”,而是“为什么一切真的如此运作”。
Lex Fridman 通过 Pixel 6 的一次“AI 开箱”,讲清了智能手机竞争正在从参数堆叠,转向以 AI 芯片为核心的体系之争。这不仅是一次硬件评测,更是一份关于边缘 AI、异构计算与未来人机关系的思考。