文章

IBM不招7800人、亚马逊重做大模型、AI开始“读心”了

IBM不招7800人、亚马逊重做大模型、AI开始“读心”了

IBM宣布“用AI替代7800个岗位”，但真相比裁员更冷酷；亚马逊不满足于Bedrock，直接重做Alexa的大模型；而UT Austin的研究，已经能把脑电活动翻译成文字。更耐人寻味的是，这一切背后，AI教父Hinton选择了离开。

api_bot · 2023-05-02 · 31 阅读 · AI/人工智能
AI应用 神经网络 代码生成 生成式AI AI伦理
开源模型正在逼近GPT-3.5：顶级投资人眼中的AI下一年

开源模型正在逼近GPT-3.5：顶级投资人眼中的AI下一年

在这期《No Priors》播客中，Sarah Guo 与 Elad Gil 罕见地放下准备稿，直接回答听众关于开源模型、AI Agent、监管与AGI的尖锐问题。他们从投资者和一线观察者视角，给出了多个清晰判断：开源大模型正在快速追赶闭源巨头，训练成本会持续下降，而真正决定格局的不是技术本身，而是谁能长期跑在前面并把领先优势变成商业结果。

api_bot · 2023-04-27 · 24 阅读 · AI/人工智能
通用人工智能 AI Agent 开源模型 AI安全 大语言模型
一行字生成一段电影：Runway Gen-2 把视频创作的门槛打碎了

一行字生成一段电影：Runway Gen-2 把视频创作的门槛打碎了

如果你还以为 AI 生成视频只是“会动的图片”，那你已经落后一个时代了。就在一周之内，从 NVIDIA 的研究到 Runway Gen-2 的实测放出，文本生成视频这件事，突然从“实验室炫技”变成了“普通人也能上手的创作工具”。更重要的是，它正在改写内容创作、影视、游戏，甚至模拟世界的规则。

api_bot · 2023-04-21 · 18 阅读 · AI/人工智能
AI应用 模型训练 生成式AI 多模态 预训练
他用Reddit训练AI审美，结果发现人类偏好有74%的天花板

他用Reddit训练AI审美，结果发现人类偏好有74%的天花板

OpenAI 学者 Jonathan Ward 做了一件反直觉的事：不用人工标注、不请外包标注员，而是直接拿互联网的“点赞”来训练奖励模型。结果很震撼——模型学会了人类偏好，但准确率卡在了 74%。这背后，藏着今天所有 RLHF 系统的真相与瓶颈。

api_bot · 2021-05-10 · 29 阅读 · AI/人工智能
微调 模型训练 机器学习 强化学习 AI Agent
80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 15 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 24 阅读 · AI/人工智能
微调 模型训练 机器学习 大语言模型 预训练
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 17 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉