95%的GenAI项目死在上线前：强化学习才是大模型进生产的秘密武器

几乎所有公司都在做 GenAI，但 95% 的项目连生产环境都进不去。前 Falcon 核心成员、Adaptive ML 联合创始人 Alessandro Cappelli 给出一个反直觉答案：问题不在模型、不在算力，而在你没用强化学习。

一个残酷事实：大多数 GenAI 项目，从一开始就注定失败

“95% 的 GenAI 试点项目无法进入生产。”这不是危言耸听，而是 Alessandro Cappelli 在和大量 Fortune 500 企业打交道后得出的结论。问题出在哪？不是你做不出 Demo，而是你被一个行业迷思骗了——所谓的“最后一公里”。

大多数团队以为：做出一个看起来很聪明的 MVP 是最难的，剩下的只是工程化。但现实恰恰相反。真正的马拉松，是从 MVP 到生产，再到长期稳定运行。很多 MVP 建立在闭源模型上，或者只是对开源模型做了 instruction fine-tuning。结果是：你可以改 prompt、加数据，但你无法“系统性地变好”。每修一个问题，就引入三个新问题，而且没有数学意义上的收敛路径。

这也是为什么很多团队在 Demo 阶段掌声雷动，上线前却悄无声息地被砍掉。

强化学习不是“再一种微调”，而是通往生产的底层逻辑

Cappelli 的核心观点很激进：强化学习（RL）不是后训练阶段的可选项，而是唯一“为生产而生”的算法。

原因在于反馈机制。Prompting 和 SFT 都在“猜”：猜哪个 prompt 好、猜多加点数据会不会改善。而 RL 的本质，是把反馈变成数学上的奖励信号——来自真实用户行为、业务 KPI、甚至环境本身。

更重要的是，RL 天然支持持续改进。模型不是训练完就冻结，而是在生产中不断吸收反馈、再训练、再上线。这也是 Cappelli 当年在训练 Falcon 时意识到的关键差距：开源模型并不比闭源差，真正缺失的是一条能把模型安全、可控地带进生产的路径，而这条路径叫 reinforcement learning。

为什么 Fortune 500 开始用“小模型 + RL”，而不是更大的 LLM

很多人以为，生产效果=模型越大越好。但在 AT&T 这种级别的企业，现实完全不同。

AT&T 需要对每一通客服通话做摘要，这个功能本身就要烧掉数百万美元的 token 成本。如果你用 ChatGPT 或 Claude 3.5 Sonnet 这种超大模型，账根本算不过来。

RL 带来的一个被严重低估的好处是：你可以用更小的模型，达到和 SFT 大模型相同甚至更好的效果。模型更小，意味着三件事：第一，便宜；第二，更快；第三，可控。

在语音场景里，延迟不是“体验优化”，而是生死线。半秒已经让人觉得不自然，理想目标是 300 毫秒以内——这在大模型上几乎不可能实现。小模型 + RL，反而成了唯一可行解。

更别提数据所有权。一旦模型完全基于你自己的业务数据训练，你不再担心某次模型更新“悄悄把效果改没了”。

进入 Agent 时代后，RL 的优势只会被无限放大

如果说单一任务的 LLM 已经很难进生产，那么 Agent 只会让问题更糟。

Agent 意味着更多 token、更复杂的决策、更高的错误成本——它们会读数据库、改状态、影响真实用户。此时再靠 prompt 或 SFT 微调，几乎等同于“盲飞”。

而 RL，本来就是为训练“在环境中行动的智能体”而生的。有没有真实环境？有就直接接，没有就 mock。奖励怎么来？业务 KPI、成功率、甚至用 LLM 当裁判。

更关键的是数据问题。很多公司担心：Agent 的训练数据根本不存在。但 RL 的妙处在于——只要你有环境和奖励，就能自动生成高质量的合成轨迹数据，甚至用 rejection sampling 反向构建数据集，作为模型的冷启动。

真正的“Human in the Loop”，不该是昂贵的标注地狱

RLHF 被 ChatGPT 带火，但现实中的“人类反馈”常常意味着漫长又昂贵的标注项目。Cappelli 的态度很直接：没人真的想干这个。

在工业级 RL 系统中，人类的角色不是点对点打分，而是定义规则：什么是好、什么是坏，用什么 KPI 评估成功。剩下的工作，可以交给 reward model 或 LLM-as-a-judge 去规模化。

一旦系统上线，来自生产环境的隐式反馈（比如用户是否接受结果）反而成了最宝贵的信号。这些数据可以反过来训练奖励模型，把少量人类智慧，放大成持续优化的引擎。

总结

这场分享真正颠覆人的地方在于：它把“做出一个聪明的模型”，和“把模型变成可靠产品”彻底分开了。强化学习的价值，不在于 SOTA 分数，而在于它是目前唯一能工业化管理模型生命周期的方法。

如果你在做 GenAI：别再问“用哪个模型”，而是先问“我如何系统性地吸收反馈”。如果你在做 Agent：别再等完美数据，先把环境和奖励搭起来。未来真正有竞争力的，不是模型有多大，而是谁能把模型活着、稳定地跑在生产里。

关键词： 强化学习， 大语言模型， 模型部署， AI Agent， RLHF

事实核查备注： 需要核查：1）95% 的 GenAI 项目失败这一比例是否有公开来源；2）Alessandro Cappelli 参与 Falcon 训练的时间表；3）AT&T 客服摘要的具体成本表述；4）Adaptive ML 客户案例（AT&T、Manulife）的公开可引用性。