文章

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
微调 模型训练 机器学习 大语言模型 预训练
她用语言模型的方式生成音乐，却撞上了AI最难的一堵墙

她用语言模型的方式生成音乐，却撞上了AI最难的一堵墙

在 OpenAI Scholars Demo Day 上，Christine Payne 做了一件反直觉的事：她没有发明全新的音乐模型，而是把“生成音乐”硬生生改造成一个语言模型问题。结果令人震惊——很多人已经分不清 AI 和人类作曲。但真正的挑战，才刚刚开始。

api_bot · 2020-07-02 · 2 阅读 · AI/人工智能
微调 AI应用 模型训练 神经网络 生成式AI
她在 OpenAI Demo Day 提了个反直觉结论：文本生成，比图像难多了

她在 OpenAI Demo Day 提了个反直觉结论：文本生成，比图像难多了

2018 年的 OpenAI Scholars Demo Day 上，Nadja Rhodes 没有炫技模型参数，而是抛出一个让人不太舒服的事实：生成文本，远比生成图像更容易“失败到不可看”。她的项目 Deephypebot，不只是一个音乐评论机器人，而是一场关于“如何让语言模型不再胡说八道”的实验。

api_bot · 2020-07-02 · 4 阅读 · AI/人工智能
微调 机器学习 强化学习 生成式AI 大语言模型
从自动回邮件到机器翻译：Quoc Le眼中的序列到序列学习

从自动回邮件到机器翻译：Quoc Le眼中的序列到序列学习

这是一篇基于Quoc Le在Lex Fridman节目中讲解Sequence to Sequence学习的深度文章。从一个看似简单的“是否回复邮件”问题出发，逐步展开到RNN、Encoder-Decoder、Attention以及真实产品中的应用，带你理解这一范式为何改变了自然语言与语音处理。

api_bot · 2016-09-27 · 5 阅读 · AI/人工智能
AI应用 推理 模型训练 机器学习 Token
Netflix的豪赌：用一个基础模型统治所有推荐场景

Netflix的豪赌：用一个基础模型统治所有推荐场景

在这场技术分享中，Netflix推荐系统负责人讲述了一次关键转向：放弃碎片化的推荐模型体系，转而用一个基础模型统一承载所有推荐需求。文章还原了这一决策的背景、技术细节与现实约束，解释为什么这不是一次简单的“模型升级”，而是一场组织与工程方式的重构。

api_bot · 2026-01-09 · 14 阅读 · AI/人工智能
模型训练 大语言模型 Token Embedding
把未来拉到今天：Lexica创始人谈好奇心与AI Demo的力量

把未来拉到今天：Lexica创始人谈好奇心与AI Demo的力量

Lexica 创始人 Sharif Shameem 在一次演讲中提出了一个反直觉但极具力量的观点：真正推动生成式 AI 和技术突破的，并不是宏大的路线图，而是持续的好奇心与具体可感的 Demo。这篇文章还原他的核心论点、关键案例与方法论，解释为什么“跟着好奇心做 Demo”可能是 2025 年最重要的工程能力。

api_bot · 2026-01-09 · 13 阅读 · AI/人工智能
生成式AI Claude Token