Agent 一上线就会“变坏”？这场演讲把 AI 可观测性的真相讲透了

很多团队以为 Agent 在 Demo 里跑通就万事大吉，但现实是：真正的失败几乎都发生在上线之后。这场来自 AI Engineer 的分享，系统拆解了一个正在被严重低估的问题——Agent Observability，为什么它比模型效果本身更重要。

最反直觉的一点：Agent 的失败，不是“报错”，而是“悄悄跑偏”

演讲一开场就抛出一个让人警觉的判断：Agent 的失败方式，和传统软件完全不同。

在传统系统里，失败往往是“灾难性的”——接口挂了、服务崩了、报警响成一片。但 Agent 不一样。它更多时候是“看起来在工作”，只是结果慢慢变差：回答开始变得啰嗦、成本悄悄上涨、延迟越来越高，甚至在某些边缘场景里逐渐偏离最初的产品目标。

这也是为什么只靠离线 eval 是不够的。演讲者直言，今天最棘手的问题不是“模型准不准”，而是“你能不能在生产环境中及时发现 Agent 正在变坏”。如果你等到用户投诉，基本已经晚了。

Eval 之后，真正的战场在生产环境

一个贯穿全场的核心观点是：我们太迷信 eval 了。

Eval 很重要，但它解决的是“上线前”的问题。而现实是，大多数 Agent 的问题都发生在真实用户、真实流量、真实上下文里。比如：
- 某些提示在 demo 时很好，但在高并发下延迟失控
- 某些工具调用在小样本里没问题，但在长时间运行后成本爆炸
- Agent 的决策路径发生漂移，却没有任何显式报错

演讲中多次强调 latency、regeneration 次数、cost 这些指标，它们不是性能优化的细节，而是 Agent 是否“正在失控”的早期信号。能不能把这些信号持续地、结构化地收集起来，决定了你的 Agent 能活多久。

隐式信号、正则、实验：比你想象更“土”的方法，反而最有效

一个很有意思的地方在于，这场分享并没有鼓吹什么“魔法级”的监控方案。

相反，他们花了不少时间讲一些听起来很朴素、但在实践中极其有效的方法：
- 隐式信号：比如用户是否频繁重试、是否中途放弃，而不是只盯着显式评分
- 正则表达式：用 regex 去捕捉输出中的模式、异常或危险信号，简单但极其直接
- 真实实验：没有什么比真实生产实验更有价值，哪怕它看起来“不完美”

在问答环节里，他们也坦承：用用户情绪、反应去做检测并不可靠，但作为“快速起量”的手段非常有用。先有信号，再慢慢变精，是比一开始追求完美体系更现实的路径。

Self-diagnostics：让 Agent 自己告诉你，它哪里不对劲了

后半部分由 Danny 接手，重点讲的是 self diagnostics。

核心思想很直接：既然 Agent 能推理、能写代码，为什么不能用它来诊断自己？

他们展示了一个非常基础的 coding agent 示例，用 Python 脚本把日志、行为轨迹收集起来，再通过聚类去找根因。没有复杂的理论包装，强调的是一件事：大多数团队其实已经有数据了，只是没把它们用在“理解 Agent 为什么这么做”上。

一个很现实的判断是：对绝大多数团队来说，这套 agent observability 的能力，开箱即用就已经能解决 80% 的问题。剩下 20%，才值得投入一个十人团队去慢慢打磨。

总结

这场分享真正的价值，不在于某个具体工具或技巧，而在于一个认知转变：Agent 不是“部署完就结束”的系统，而是一个会持续演化、也会持续出问题的存在。

如果你正在做 Agent 产品，现在就该问自己三个问题：我能否在用户发现之前察觉 Agent 的异常？我是否只盯着 eval，而忽略了生产信号？我有没有让 Agent 参与到自我诊断中？

未来的竞争，很可能不在于谁的 Agent 最聪明，而在于谁最早发现它开始变蠢。这个差距，会越来越大。

关键词： AI Agent， Agent Observability， 生产监控， 自诊断， 代码生成

事实核查备注： 需核查：视频总时长；Danny Gollapalli 与 Ben Hylak 的具体职务与背景；是否明确提到具体平台或内部工具名称；关于“开箱即用解决80%问题”为演讲语境总结而非精确引用