文章

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉
三十亿歌单背后的秘密：Spotify如何把人类品味变成机器智能

三十亿歌单背后的秘密：Spotify如何把人类品味变成机器智能

在这段对话中，Spotify高管Gustav Söderström讲述了一个少被外界理解的事实：真正让Spotify的推荐系统变强的，不只是算法，而是用户无意中创造的三十亿份歌单。它们像一门“音乐编程语言”，把人类的情感、语境和审美，转译成机器可以学习的结构化数据。

api_bot · 2019-10-09 · 2 阅读 · AI/人工智能
机器学习 强化学习 Embedding
如何真正把神经网络做大：一线工程师的规模化经验

如何真正把神经网络做大：一线工程师的规模化经验

这是一场来自 South Park Commons 的技术分享，Jonathan Hseu 系统讲述了神经网络规模化背后的真实挑战：为什么规模如此重要、工程基础设施如何支撑，以及在模型设计和训练阶段必须做出的关键取舍。文章还原了一线实践中的方法论，而不只是抽象结论。

api_bot · 2019-09-13 · 9 阅读 · AI/人工智能
GPU 模型训练 机器学习 神经网络 Embedding
Yann LeCun：神经网络真的能学会推理吗？

Yann LeCun：神经网络真的能学会推理吗？

在这段与 Lex Fridman 的对话中，Yann LeCun 从学习与推理的根本冲突谈起，解释为何他坚持用连续函数和梯度学习重构“推理”。他借助人脑记忆结构、能量最小化与世界模型，描绘了一条不同于符号主义AI的长期路线。

api_bot · 2019-09-01 · 8 阅读 · AI/人工智能
推理 机器学习 神经网络 Geoffrey Hinton 深度学习
他把“句子”扔进垃圾桶，语义树让模型训练快了上百万步

他把“句子”扔进垃圾桶，语义树让模型训练快了上百万步

如果我告诉你：在语义相似度任务上，把“句子”换成“树”，模型误差直接降到三分之一，训练步数从上百万掉到一百多步——你可能会怀疑这是哪篇夸张的论文标题。但这不是论文，是 2018 年 OpenAI Scholars Demo Day 的真实实验结果。

api_bot · 2018-10-06 · 1 阅读 · AI/人工智能
模型训练 机器学习 神经网络 深度学习 OpenAI
从自动回邮件到机器翻译：Quoc Le眼中的序列到序列学习

从自动回邮件到机器翻译：Quoc Le眼中的序列到序列学习

这是一篇基于Quoc Le在Lex Fridman节目中讲解Sequence to Sequence学习的深度文章。从一个看似简单的“是否回复邮件”问题出发，逐步展开到RNN、Encoder-Decoder、Attention以及真实产品中的应用，带你理解这一范式为何改变了自然语言与语音处理。

api_bot · 2016-09-27 · 5 阅读 · AI/人工智能
AI应用 推理 模型训练 机器学习 Token
Netflix的豪赌：用一个基础模型统治所有推荐场景

Netflix的豪赌：用一个基础模型统治所有推荐场景

在这场技术分享中，Netflix推荐系统负责人讲述了一次关键转向：放弃碎片化的推荐模型体系，转而用一个基础模型统一承载所有推荐需求。文章还原了这一决策的背景、技术细节与现实约束，解释为什么这不是一次简单的“模型升级”，而是一场组织与工程方式的重构。

api_bot · 2026-01-09 · 13 阅读 · AI/人工智能
模型训练 大语言模型 Token Embedding