为什么真正可用的AI Agent，核心问题不是能力而是信任

Imbue（原 Generally Intelligent）两位创始人在 South Park Commons 的分享，罕见地把焦点从模型能力拉回到“信任”。他们解释了为何能替你行动的 AI Agent 必须首先是可理解、可检查、可解释的系统，以及他们为何用 Avalon 这样的模拟环境，重新定义通用智能研究的路径。

从“聪明模型”到“可信代理”：他们为什么要做 AI Agent

这场对谈一开始，主持人 John McDonnell 就点出了 Imbue（当时名为 Generally Intelligent）的核心使命：打造“可以安全部署在真实世界中的、具有人类般智能的通用代理”。听起来宏大，但 Kanjun Qiu 和 Josh Albrecht 给出的动机却非常具体——他们关注的是那些人类每天都在做、但并不想再继续做的“工艺性工作”。

Kanjun 提到，技术进步的历史，本质上就是不断替人类卸下这些重复、繁琐的负担，从而“打开全新的世界”。生成式 AI 已经展示了潜力，但真正的突破在于：当 AI 不只是给建议，而是能“替你去做事”。正因为如此，他们强调的不是聊天能力，而是 agent——能在环境中采取行动的系统。

但他们也非常清醒。Josh 用一个直白的例子点破现状：“你现在让一个聊天模型去帮你买菜，它可能会说‘好’，甚至问你要什么，但它并不会真的去买。”这不是能力缺失那么简单，而是信任问题：我们还不敢把信用卡、不敢把文件系统、不敢把关键操作交给它。这也是 Imbue 存在的根本原因。

信任是硬门槛：为什么“不会删你文件”比更聪明更重要

在谈到 AI Agent 的最大难点时，两位创始人的答案出奇一致：不是性能，而是信任。Josh 直接指出，如果一个系统可能误删你的文件，或者在不可预测的情况下做出危险行为，人类就永远不会真正使用它。

因此，他们反复强调几个关键词：可理解（understandable）、可检查（inspectable）、可解释（explainable）。这些并不是常见在消费级 AI 宣传中的词，却是他们眼中能否把 agent 推向真实世界的前提条件。Kanjun 说得很明确：用户必须能够理解系统在做什么，并在必要时进行修改，否则信任无从谈起。

他还把这种变革类比为“Xerox PARC 式的计算机革命”。五年后，他们判断成功的标准，并不是某个 benchmark，而是人们是否会“以完全不同的方式与计算机交互”。这是一种对未来人机关系的判断：AI 不再是工具栏里的一个功能，而是一个你愿意授权的协作者。

不追指标，先选问题：Imbue 的研究方法论

在众多 AI 研究团队都在竞逐分数和排行榜时，Imbue 刻意走了一条不那么“显眼”的路。他们明确表示，自己花了大量时间思考的不是“怎么把某个指标再提高一点”，而是“我们究竟该解决什么问题”。

Josh 直言，如果只是不断优化某些既定指标（他举了 ImageNet 作为例子），可能会让研究偏离真正重要的方向。相反，他们更关心哪些任务，能真实反映一个 agent 是否具备理解和行动能力。

这种思路也解释了他们为何投入资源开发 Avalon。Avalon 是一个 3D 强化学习环境（reinforcement learning environment），用于研究 agent 在复杂环境中的学习和决策能力。强化学习，简单说，就是通过“试错—反馈”来学习策略。Avalon 的价值不在于炫技，而在于它提供了一个可控、可重复、但又足够复杂的世界，用来观察 agent 在极端或对抗性场景下的行为。

为什么要开源 Avalon：理解，比领先更重要

在谈到 Avalon 时，Kanjun 特别强调了“理解”这个词。她反问道：什么才叫真正理解一个模型？答案不是在理想条件下表现良好，而是在最坏情况下依然可预测。

正因为如此，他们希望研究者能用 Avalon 去“更具对抗性地”测试 agent——看看在真实部署、最糟糕输入下，它们会做出什么选择。这也是他们决定将 Avalon 开源的重要原因之一。开源并不只是共享代码，而是邀请整个研究社区一起参与对 agent 行为的剖析。

他们提到，现在已经有很多优秀的课程和材料在教人如何使用模型，但真正稀缺的是：深入理解这些系统在复杂环境中为何如此表现。Avalon 被设计成一个“理解工具”，而不仅是训练工具。

安全、规模与现实主义：对行业的冷静判断

在问答环节中，话题延伸到了 AI 安全、验证、规模化等问题。Josh 半开玩笑地说，世界需要更多“红队”（red team）——主动寻找系统漏洞的人。这背后是一个严肃判断：安全工作往往被低估，但它决定了 agent 能否真正落地。

他们也对一些流行趋势保持距离。例如，有观众提到提示工程（prompt engineering），Josh 指出，今天的提示技巧，未来未必还是同样的形态；真正重要的，可能是更系统化的验证与理解方法。

谈到机器人和物理世界，他们态度更加现实：那是一条更漫长的路。因此，Imbue 选择先在“数字世界”中，把 agent 的能力和安全性打磨清楚。这不是保守，而是一种对复杂性的尊重。

总结

这场分享最有价值的地方，不在于提出了多少新名词，而在于反复提醒一个容易被忽视的事实：当 AI 开始“替你行动”时，信任比聪明更重要。Imbue 选择从可理解、可检查、可解释的 agent 入手，用 Avalon 这样的工具去逼近最坏情况。对所有关心 AI 落地的人来说，这是一次关于耐心、边界感与长期主义的示范。

关键词： AI Agent， AI安全， 通用人工智能， 强化学习， 大语言模型

事实核查备注： 1. 公司名称：Generally Intelligent（后更名为 Imbue）
2. 人物：Kanjun Qiu、Josh Albrecht、主持人 John McDonnell
3. Avalon：3D 强化学习环境，计划开源
4. 核心概念：AI Agent、可解释性、可检查性、强化学习
5. 视频来源：South Park Commons，发布时间 2023-02-22