企业正在把“行动权”交给AI,而安全几乎是空白的

AI PM 编辑部 · 2026年05月28日 · 19 阅读 · AI/人工智能

正在加载视频...

视频章节

当AI不再只是“看”和“想”,而是开始“动手做事”,真正的风险才刚刚开始。Onyx Security CEO Maxim Bar Kogan 在这期播客里反复强调:企业对 AI Agent 的采用已经失控,但防护体系几乎为零。这不是未来问题,而是正在发生的现实。

企业正在把“行动权”交给AI,而安全几乎是空白的

当AI不再只是“看”和“想”,而是开始“动手做事”,真正的风险才刚刚开始。Onyx Security CEO Maxim Bar Kogan 在这期播客里反复强调:企业对 AI Agent 的采用已经失控,但防护体系几乎为零。这不是未来问题,而是正在发生的现实。

真正失控的不是模型,而是“行动权”

Maxim 抛出的第一个观点就很反直觉:问题不在于模型会不会胡说八道,而在于它正在被赋予越来越多“行动能力”。他形容说,企业正在让 AI“用眼睛做指数级更多的事”,结果就是——坏动作发生的概率也在指数级上升。

关键在于,企业已经无法阻止这种 adoption。不是不想,而是业务逼着你用。自动化审批、自动投放广告、自动调用内部系统……这些 agent actions 一旦出错,后果不再是“回答不准”,而是真金白银的损失,甚至是合规事故。

更危险的是,大多数企业根本没有能力判断:这个动作是“合法的”还是“看起来像合法”。

押注 AI Agent 的起点:AutoGPT 出现得刚刚好

聊到为什么一开始就赌“agent actions”,Maxim 给了一个很真实的答案:AutoGPT。

在他看来,AutoGPT 的出现是一个时间窗口——真正高度自治的 agent 在“还没来得太晚之前”出现了。这意味着两件事:第一,行业终于能看到 agent 会如何真实地行动;第二,安全问题不再是纸上谈兵。

他们并不是先想清楚所有安全方案再去做,而是意识到:如果现在不开始解决 agent 行为的安全问题,等大规模部署后再补救,成本会高到无法接受。某种程度上,这是一次“被现实逼出来的正确下注”。

为什么传统安全思路,在 AI Agent 面前失效

播客中一个很关键的问题是:既然企业已经有那么多安全体系,为什么不能直接套用?

Maxim 的回答指向一个核心差异:代理(proxies)和上下文。传统安全系统假设“人”是决策者,而 AI Agent 是在极其动态的上下文中自行决策、调用工具、执行动作。

他说,大多数真正难的事情,都发生在“代理层”。你无法只靠静态规则去判断一个 agent 的动作是否合理,因为它可能在一个完全不同的上下文里看起来是“正确的”。这也是为什么简单的封禁、白名单策略在这里几乎不起作用。

最先爆发的不是办公自动化,而是自动化广告

一个很多人没想到的细节是:在他们当前的部署中,增长最快的 agent 使用场景是——自动化广告。

原因并不复杂:广告系统本身就是高度自动化、强反馈、强激励的环境,非常适合 agent 发挥。但也正因为如此,风险被放大了。一个小小的错误策略,就可能在极短时间内烧掉大量预算,甚至触发平台风控。

这再次印证了 Maxim 的判断:AI Agent 最先失控的地方,一定是在“高风险、高频率、高金钱密度”的场景。

从企业现实到 AGI 分歧:大模型不会替你解决一切

当话题转向 AGI 和 ASI,Maxim 的态度相当克制。他提到,行业内部对“更聪明的模型是否自然更安全”这件事,其实是分裂的。

他的隐含立场是:即便模型更聪明,也不等于企业级的 agent 风险会自动消失。相反,能力越强、行动范围越大,安全设计就越不能外包给大模型实验室。

这也回应了一个现实问题:你正在解决的这些问题,会不会最终被大厂“顺手解决”?他的答案并不乐观——至少在可预见的时间里,不会。

总结

这期对话给 AI 从业者一个很直接的提醒:如果你还只把注意力放在模型能力,而忽略了 agent 的“行动后果”,那你已经落后现实一步了。真正的竞争,不是谁的模型更强,而是谁先把“可控的行动权”这件事做对。对企业来说,现在就该问自己三个问题:哪些系统已经在被 agent 控制?一旦出错,代价是多少?你有没有能力在事后解释“为什么会发生”?这些问题,越早回答,越便宜。


关键词: AI Agent, 企业安全, AutoGPT, 自治系统, 通用人工智能

事实核查备注: 需要核查:1)AutoGPT 被提及为 Onyx 押注 agent 的关键时间点;2)“自动化广告是增长最快的 agent 场景”是否为原话或总结;3)关于行业对更聪明模型是否更安全的分歧表述;4)Onyx Security 的研究与部署主要集中在企业 agent 安全领域。