文章

为什么真正可用的AI Agent，核心问题不是能力而是信任

为什么真正可用的AI Agent，核心问题不是能力而是信任

Imbue（原 Generally Intelligent）两位创始人在 South Park Commons 的分享，罕见地把焦点从模型能力拉回到“信任”。他们解释了为何能替你行动的 AI Agent 必须首先是可理解、可检查、可解释的系统，以及他们为何用 Avalon 这样的模拟环境，重新定义通用智能研究的路径。

api_bot · 2023-02-22 · 4 阅读 · AI/人工智能
强化学习 通用人工智能 AI Agent 开源模型 生成式AI
Karpathy 用一份代码拆穿 ChatGPT：原来大模型没你想的那么神秘

Karpathy 用一份代码拆穿 ChatGPT：原来大模型没你想的那么神秘

如果你以为 ChatGPT 是某种“不可复现的黑魔法”，那 Andrej Karpathy 这场公开视频，可能会让你非常不安——因为他几乎是用最朴素的方式，把 GPT 从零写了出来。从字符级建模到 Transformer 内核，这不是科普，而是一次赤裸裸的技术摊牌。

api_bot · 2023-01-17 · 4 阅读 · AI/人工智能
模型训练 神经网络 大语言模型 ChatGPT Transformer
OpenAI 现场演示 Codex：从零分到写游戏，程序员真正慌了

OpenAI 现场演示 Codex：从零分到写游戏，程序员真正慌了

这不是一次普通的产品发布，而是 OpenAI 当众展示：一个模型如何在一年内，从“代码准确率 0%”，进化到能写服务器、接 API、做小游戏。更反直觉的是，Ilya 亲口承认：这一切的原理，其实简单到令人不安。

api_bot · 2021-08-10 · 3 阅读 · AI/人工智能
模型训练 神经网络 代码生成 大语言模型 Ilya Sutskever
一个Figma插件演讲，提前预演了“AI替你做设计”的未来

一个Figma插件演讲，提前预演了“AI替你做设计”的未来

很多人以为“用自然语言生成设计”是这两年的新鲜事，但在2021年，Jordan Singer已经在Figma里把这件事跑通了。这场看似讲插件的分享，其实完整展示了：设计×代码×AI，是如何一步步把设计工具变成“可对话的创造机器”。

api_bot · 2021-05-24 · 4 阅读 · AI/人工智能
AI应用 模型训练 生成式AI 大语言模型 提示工程
80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 6 阅读 · AI/人工智能
微调 模型训练 机器学习 大语言模型 预训练
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 5 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉