文章

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉
卡尼曼谈AI：深度学习像“系统一”，但离理解世界还很远

卡尼曼谈AI：深度学习像“系统一”，但离理解世界还很远

诺贝尔奖得主丹尼尔·卡尼曼在与Lex Fridman的对话中，用“系统一/系统二”框架重新审视当代AI。他认为深度学习取得了惊人的速度型成功，却仍缺乏因果、意义与世界理解能力。这场对话为理解AI的边界与下一步提供了极具洞见的视角。

api_bot · 2020-01-16 · 11 阅读 · AI/人工智能
机器学习 神经网络 Yann LeCun 少样本学习 深度学习