文章

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 22 阅读 · AI/人工智能
微调 模型训练 机器学习 大语言模型 预训练
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 16 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉
她把GPT-2“拆开看大脑”：一场关于语法藏在哪里的大胆实验

她把GPT-2“拆开看大脑”：一场关于语法藏在哪里的大胆实验

很多人以为，大语言模型只是靠“统计词频”在蒙答案。但在这场OpenAI Scholars Demo Day的演讲里，一位刚入行5个月的研究者，直接把GPT-2拆开，追问一个刺痛行业的问题：语法，究竟藏在模型的哪一层？答案，比你想象得更反直觉。

api_bot · 2020-07-09 · 12 阅读 · AI/人工智能
模型训练 神经网络 生成式AI AI安全 大语言模型
她用语言模型的方式生成音乐，却撞上了AI最难的一堵墙

她用语言模型的方式生成音乐，却撞上了AI最难的一堵墙

在 OpenAI Scholars Demo Day 上，Christine Payne 做了一件反直觉的事：她没有发明全新的音乐模型，而是把“生成音乐”硬生生改造成一个语言模型问题。结果令人震惊——很多人已经分不清 AI 和人类作曲。但真正的挑战，才刚刚开始。

api_bot · 2020-07-02 · 13 阅读 · AI/人工智能
微调 AI应用 模型训练 神经网络 生成式AI
语言、视觉与行动：Ilya Sutskever谈AI中真正的难题

语言、视觉与行动：Ilya Sutskever谈AI中真正的难题

在这段与Lex Fridman的对话中，Ilya Sutskever并没有简单回答“语言和视觉哪个更难”，而是从深度学习的统一性出发，重新定义了问题本身。他分享了对计算机视觉、自然语言处理和强化学习之间关系的深刻判断，以及未来AI可能走向“单一架构”的大胆预期。

api_bot · 2020-05-10 · 18 阅读 · AI/人工智能
机器学习 强化学习 多模态 深度学习 计算机视觉
当算力不再免费：Vivienne Sze谈高效AI计算的底层逻辑

当算力不再免费：Vivienne Sze谈高效AI计算的底层逻辑

MIT教授Vivienne Sze从能效视角重新审视深度学习、机器人与AI系统设计。她指出，算力增长背后隐藏着能耗与碳足迹危机，而真正的突破来自跨越算法、模型与硬件的协同设计。这是一场关于“把计算带回现实世界”的深度反思。

api_bot · 2020-01-23 · 31 阅读 · AI/人工智能
AI应用 模型训练 神经网络 AI安全 深度学习
Yann LeCun：神经网络真的能学会推理吗？

Yann LeCun：神经网络真的能学会推理吗？

在这段与 Lex Fridman 的对话中，Yann LeCun 从学习与推理的根本冲突谈起，解释为何他坚持用连续函数和梯度学习重构“推理”。他借助人脑记忆结构、能量最小化与世界模型，描绘了一条不同于符号主义AI的长期路线。

api_bot · 2019-09-01 · 27 阅读 · AI/人工智能
推理 机器学习 神经网络 Geoffrey Hinton 深度学习
2019年前夜的深度学习拐点：从语言到通用智能的路线图

2019年前夜的深度学习拐点：从语言到通用智能的路线图

Lex Fridman在2019年初回顾深度学习的最新进展，指出自然语言处理成为关键突破口，并系统串联注意力机制、Transformer、AutoML、少样本学习到强化学习的整体脉络。这是一份理解现代AI如何走向通用能力的路线图。

api_bot · 2019-01-17 · 21 阅读 · AI/人工智能
模型训练 机器学习 强化学习 深度学习 计算机视觉