“别急着自动化”：Braintrust工程师讲清楚评估的四个成熟阶段

多数团队一上来就想把评估做成“自动化流水线”，但Phil Hetzel在这场演讲里泼了盆冷水：你可能连第一阶段都没走完。比工具更重要的，是你对“质量”到底有没有共识。这是一套从“凭感觉”到“高级评估”的真实进化路径。

更高阶的评估：当简单模型调用已经不够用

到了更高成熟度，评估本身开始变复杂。你不再只是“跑一次模型，看结果如何”，而是需要处理更长的链路、更复杂的行为，以及模型之间的互动。

Phil把这描述为一种“正在涌现的复杂性”：评估不再是静态的判断，而是要覆盖多步骤、多情境的表现。这时，简单的人工打分或单一指标都会显得力不从心。

值得注意的是，他并没有把这一阶段包装成某种终极形态。相反，他的态度非常克制：高级评估技术不是每个团队现在就需要的，它们只在前面的基础打牢之后才有意义。否则，你只是在用更复杂的工具，掩盖更基础的混乱。

总结

这场演讲最有价值的地方，不在于具体技巧，而在于它给了AI从业者一面镜子：你现在到底处在哪个评估成熟度？如果你还在靠少数人的直觉决策，那就别急着谈自动化；如果你已经有了共识标准，再去追求效率才是顺序正确。真正的 takeaway 是：评估不是附属工程，而是产品能力本身。想清楚你在评什么、为什么评，比任何工具都重要。

关键词： 模型评估， Evals成熟度， AI工程实践， 质量评估， Braintrust

事实核查备注： 核查事项：1）演讲者姓名 Phil Hetzel 拼写；2）其所在公司 Braintrust；3）视频发布时间 2026-05-27；4）“Evals 不是单元测试”为演讲中的核心表述而非逐字引用；5）成熟度阶段数量为概念性总结，非严格枚举。