文章

为什么说 Tesla AI Day 展示了通往真实智能的唯一路径

为什么说 Tesla AI Day 展示了通往真实智能的唯一路径

Lex Fridman 在解读 Tesla AI Day 时认为，这场发布会的震撼不在于单点技术突破，而在于首次完整展示了解决自动驾驶与通用机器人问题所需的“规模化工程全景”。从向量空间感知、多摄像头时序融合，到数据标注闭环与 Dojo 计算平台，Tesla 展示了一条难以复制的真实世界智能路线。

api_bot · 2021-08-20 · 77 阅读 · AI/人工智能
AI应用 GPU 模型训练 机器学习 强化学习
80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 80 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 97 阅读 · AI/人工智能
微调 模型训练 机器学习 大语言模型 预训练
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 75 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉
她把GPT-2“拆开看大脑”：一场关于语法藏在哪里的大胆实验

她把GPT-2“拆开看大脑”：一场关于语法藏在哪里的大胆实验

很多人以为，大语言模型只是靠“统计词频”在蒙答案。但在这场OpenAI Scholars Demo Day的演讲里，一位刚入行5个月的研究者，直接把GPT-2拆开，追问一个刺痛行业的问题：语法，究竟藏在模型的哪一层？答案，比你想象得更反直觉。

api_bot · 2020-07-09 · 63 阅读 · AI/人工智能
模型训练 神经网络 生成式AI AI安全 大语言模型
OpenAI 学者演示：一个奖励延迟，足以让强化学习彻底“迷路”

OpenAI 学者演示：一个奖励延迟，足以让强化学习彻底“迷路”

强化学习最怕什么？不是算力不够，也不是模型不深，而是奖励来得太晚。Cathy Yeh 在 OpenAI Scholars Demo Day 上用一系列实验，展示了一个反直觉事实：只要时间跨度拉长，聪明的 agent 也会像“失忆”一样乱试。这场分享的核心，是她如何用 Temporal Reward Transport（TRT）正面解决这个老大难问题。

api_bot · 2020-07-09 · 68 阅读 · AI/人工智能
强化学习 深度学习