一个“会爆炸”的模型，如何逼出神经网络最关键的一跃

Karpathy 在 makemore 第二讲里，亲手演示了一个残酷事实：你以为还能靠统计和技巧硬撑的模型，会在规模一上来时彻底崩溃。而真正的转折点，不是调参，而是那一刻你被迫引入神经网络。

当模型“突然不工作了”，才是学习真正开始的地方

视频一开始，Karpathy 并没有炫技，而是直白地承认：前一版 makemore 的方法，一旦复杂度稍微提高，整个系统就“explodes and doesn't work very well”。这不是代码 bug，而是方法论的天花板。你能感觉到一种熟悉的挫败感——规则越写越多、统计越堆越厚，效果却开始倒退。这个瞬间非常重要，因为它揭示了一个反直觉的事实：很多工程师不是因为不懂神经网络才用不上它，而是因为还没被旧方法逼到墙角。当你真的需要模型“泛化到没见过的情况”时，神经网络不是选项，而是唯一出路。

从“查表”到 Embedding：第一块多维积木

真正的转折点出现在 Embedding 上。Karpathy 做的事情看似朴素：构建一个 embedding lookup table，把离散的符号映射到连续向量空间。但这一步，实际上是从“符号世界”跳进“几何世界”。一旦字符不再只是 ID，而是可以在向量空间里彼此靠近或远离，模型才第一次拥有了表达相似性的能力。这里最容易被忽略的细节是：Embedding 不是为了降维，而是为了给后续网络一个可以‘组合’的原材料。很多初学者会把 embedding 当成一个技巧，而这节课清楚地表明——它是整个神经网络得以工作的地基。

隐藏层：模型真正开始“思考”的地方

接下来是隐藏层的构建。这一段没有任何玄学，但信息密度极高。Karpathy 直接把网络结构摊开在你面前：输入拼接、线性变换、非线性激活。没有“魔法模块”，也没有高深名词。反而正是这种透明，让人意识到一个关键事实：所谓模型能力，来自于参数数量和结构带来的组合空间。隐藏层并不是为了‘更深’，而是为了让 embedding 能发生交互。换句话说，在这里模型第一次不再是记忆，而是开始形成模式。

训练不是黑箱，而是一场可控的优化实验

在训练环节，Karpathy 反复强调一件事：你必须清楚自己在最小化什么损失。最终层输出 logits，计算 loss，然后反向传播——流程极其标准，却常常被新手当成黑箱。这一讲的价值在于，它把“训练效果好不好”拆解成一连串可以观察、可以调整的选择：学习率、初始化、迭代次数。当模型性能提升到 2.3 时，Karpathy 给出了一个耐人寻味的评价：模型已经明显变好，但还远没强到可以纯粹记忆数据。这句话其实是在提醒你，泛化能力不是靠运气，而是靠结构和容量的平衡。

能生成，才算真正理解了模型

最后的采样部分，是整节课的情绪收束点。训练完不去 sample，等于白干。因为只有在生成时，你才能直观看到模型到底学到了什么、又没学到什么。Karpathy 把采样当成一种调试工具，而不是炫耀成果的仪式。这种心态非常工程化：模型不是为了‘看起来聪明’，而是要在真实分布下给出合理输出。也正是在这里，他顺手把一个练习题丢给观众——你还能不能再把指标往下压一点？答案不重要，重要的是你是否已经知道从哪里下手。

总结

这期 makemore 的真正价值，不在于教你写一个 MLP，而在于逼你正视一个现实：当系统复杂到一定程度，‘聪明的规则’一定会输给‘可学习的结构’。如果你是工程师，这意味着该尽早把问题表述成可训练的形式；如果你是研究者，这意味着理解每一层存在的理由，比堆新架构更重要。一个可执行的行动建议是：照着这节课，从零手写一次最小 MLP，并在采样阶段认真观察失败案例。那会比看十篇论文更快建立直觉。

关键词： 神经网络， Embedding， MLP， 模型训练， makemore

事实核查备注： 需核查视频准确发布时间（2022-09-12）、模型指标数值“2.3”的具体含义、视频总时长以确认文章长度匹配