Jeremy Howard:从Delphi到fast.ai,重新思考深度学习的“正确打开方式”
正在加载视频...
视频章节
在这期Lex Fridman播客中,fast.ai创始人Jeremy Howard回顾了自己从早期编程语言到深度学习教育与研究的完整路径。他分享了对编程未来、深度学习实践误区、GPU训练、学习率技巧以及fast.ai诞生背景的独特看法,揭示了为何“把复杂技术交还给更多人”才是真正的突破。
Jeremy Howard:从Delphi到fast.ai,重新思考深度学习的“正确打开方式”
在这期Lex Fridman播客中,fast.ai创始人Jeremy Howard回顾了自己从早期编程语言到深度学习教育与研究的完整路径。他分享了对编程未来、深度学习实践误区、GPU训练、学习率技巧以及fast.ai诞生背景的独特看法,揭示了为何“把复杂技术交还给更多人”才是真正的突破。
为什么理解一个人的编程起点很重要
要理解Jeremy Howard对深度学习和工具的态度,必须从他的编程起点说起。在播客一开始,Lex Fridman并没有直接进入AI,而是问了一个看似随意的问题:你写过的第一个程序是什么?Jeremy的回答透露出一个贯穿他整个职业生涯的线索——对创造力和工具本身的热爱,甚至提到“底层一直有一种对音乐的热爱”。
他使用并深入学习过多种编程语言,其中让他反复提及、甚至“至今仍然怀念”的,是Delphi和早期的Visual Basic。在他看来,Delphi“是一个编译型、速度极快、同时又极其高效的语言”,能让开发者用很少的代码完成复杂的事情。他直言,Delphi“在几乎所有方面都比今天大多数人每天使用的语言更强大”。
这个观点并不是怀旧,而是为他后来的核心判断埋下伏笔:真正优秀的技术,应该最大化人的表达能力,而不是迫使人去适应机器。这种价值观,后来直接影响了他对深度学习框架、课程设计以及研究方向的选择。
他如何看待编程的未来:问题不在算力,而在抽象
在讨论未来编程形态时,Jeremy Howard刻意把话题从“算力”和“硬件”拉回到“抽象层级”。他认为,单纯依赖计算能力的提升“绝对不够好”,真正的瓶颈在于我们如何把底层复杂性隐藏起来,让人能够直接组合高层能力。
他特别提到,当前一个重要趋势是编译器技术的进步,以及把高层接口“像积木一样”拼接在一起的能力。某种意义上,这正是在尝试重建当年Delphi带给开发者的那种体验——高性能、强抽象、低心智负担。
这种判断也解释了他为何长期对“工具设计”异常敏感。在他看来,如果一门语言或一个框架不能让聪明的领域专家迅速上手,那么无论它在学术上多么优雅,都无法真正推动技术普及。
fast.ai 的起源:理论正确,但实践失灵
当话题回到fast.ai的起源时,Jeremy Howard明确指出了一个他认为长期被忽视的问题:深度学习的“理论”和“实践”之间存在巨大断层。他直言,很多研究成果在论文中看起来完美,但普通实践者几乎无法复现,更谈不上在真实场景中使用。
fast.ai的诞生,正是为了弥合这道鸿沟。他把教学、研究和真实竞赛紧密结合,比如在讨论中提到的Stanford主办的DAWNBench竞赛。通过这些竞赛,他和团队不断验证一个核心信念:很多所谓的“高级技巧”,并不是必须的,真正重要的是对训练过程关键变量的理解。
他在播客中多次强调教学本身也是研究的一部分——“我基本上一年教两门课”,而这些课程反过来不断暴露现有方法在实践中的不足。这种从教学中反推研究方向的方式,是fast.ai与传统学术路线最大的不同。
关于GPU、分布式训练和学习率的“反直觉”结论
在GPU和多机训练的问题上,Jeremy Howard给出了一个颇具争议性的观点:对于大多数人来说,这“在很大程度上是浪费时间”。他并不是否认分布式训练的价值,而是指出,很多实践者在还没把单卡训练吃透之前,就急于追逐复杂的系统设计。
相比之下,他更愿意把精力放在训练过程中的“魔法参数”上,尤其是学习率(learning rate)。他提到,自己曾花大量时间实验学习率策略,而这些看似简单的调整,往往比增加更多GPU带来更显著的效果。
这种观点再次体现了他的核心方法论:与其堆叠资源,不如理解机制。深度学习的门槛,往往不在硬件,而在认知。
成功的创业者,和优秀的深度学习实践者有什么共同点
在播客后段,话题从技术转向个人成长。Lex Fridman问他:当一个人掌握了基础之后,接下来要怎样才能创建一家成功的初创公司?Jeremy的回答出人意料地平静——成为成功的创业者,和成为成功的深度学习实践者,并没有本质区别,“它们都是完全不错的人生结果”。
在他看来,关键不在于追逐某个头衔,而在于持续做有用的事情、解决真实的问题。这也解释了为什么fast.ai坚持“我们做的一切都是免费的”,并且始终把目标用户放在非传统背景的学习者身上。
他甚至提到自己正在学习Swift,再一次印证了他对工具和学习过程本身的持续兴趣。这种不断回到“初学者心态”的选择,或许正是他能够长期保持创造力的原因。
总结
这期对话真正打动人的,并不是某个具体的技术技巧,而是Jeremy Howard一以贯之的价值观:技术应该服务于人,而不是反过来。从Delphi到fast.ai,从学习率实验到反对盲目多GPU,他不断提醒我们,深度学习的核心不是复杂,而是理解。对于今天的学习者和从业者来说,这既是一种警醒,也是一条更可持续的成长路径。
关键词: Jeremy Howard, fast.ai, 深度学习, GPU训练, 学习率
事实核查备注: Jeremy Howard 是 fast.ai 创始人;视频来自 Lex Fridman Podcast #35,发布时间 2019-08-27;提及编程语言包括 Delphi、Visual Basic、Swift;讨论话题包括深度学习实践、DAWNBench 竞赛、GPU 与多机训练、学习率;fast.ai 课程与资源为免费提供。