OpenAI DevDay 给了一个残酷真相：AI 应用不是先省钱，而是先“烧准”

当 GPT-4o mini 把 32k 成本从 120 美元打到 0.6 美元，很多人以为 AI 规模化已经变成“选便宜模型”的问题。但 OpenAI 在 DevDay 现场泼了一盆冷水：真正决定你能不能活下来的，不是成本，而是你是否先把准确率做到“商业可接受”。这场演讲，几乎是在拆穿所有 AI 应用的幻想。

99% 成本下降之后，真正的难题才开始

如果只看数据，OpenAI 这两年的进步堪称离谱：从 text-davinci-003 到 GPT-4o mini，token 成本下降约 99%；曾经 32k 上下文要 120 美元，如今只要 0.6 美元，200 倍改进。结果是什么？不是大家松了一口气，而是 API 使用量直接翻倍。

问题随之而来：模型越多，选择越难。什么时候用 4o mini？什么时候必须上 4o？什么时候“看起来还行”的回答，其实在业务上是致命错误？OpenAI 给出的答案很不讨好开发者——“没有通用 playbook，只有权衡（tradeoff）。”

这场 DevDay 的核心，不是炫耀模型，而是提醒所有正在扩张的 AI 应用：从 1000 用户到 100 万用户，之前所有“凑合能跑”的设计，都会在规模化时反噬你。

反直觉原则：别急着省钱，先用最贵的模型

Colin Jarvis 给出的第一条建议，几乎和很多团队的本能相反：先优化准确率，而且一开始就用你能用的最聪明的模型。

原因很现实——如果你连“正确答案长什么样”都没定义清楚，后面所有关于延迟、成本的优化，都是在放大错误。OpenAI 的方法论很清晰：

第一步，建立 eval（评测）。不是拍脑袋，而是定义“业务可接受的最低准确率”。
第二步，在达到这个准确率之前，不要谈成本。
第三步，只有当准确率站稳了，才开始用更快、更便宜的模型替换。

他们分享了一个真实客户案例：客服系统在 80–85% 准确率区间犹豫不决，团队最终做了一个成本模型，算清 10 万次请求的收益与风险，发现 81.5% 是盈亏平衡点，最终决定在 90% 准确率上线。更讽刺的是，人类客服的准确率只有 66%。那一刻，“要不要上线”反而成了一个简单决策。

这背后隐藏的金句是：准确率不是技术指标，而是商业指标。

Evals 才是 AI 工程的护城河，不是 Prompt

很多团队把精力都花在 prompt engineering 上，但 OpenAI 的态度很直接：没有 eval，一切优化都是玄学。

他们展示了如何在真实场景中“规模化 eval”：用 LLM 扮演用户，自动生成测试对话；挖掘历史数据，标注通过/失败；用自动化测试追踪模型迭代带来的“发散（divergence）”。在一个客服网络中，他们把评测流程从 50 个扩展到 400 个 routine，每次改动跑上千个 eval。

当 eval 就位之后，才轮到那套经典的四宫格优化顺序：
- Prompt engineering：最快、最便宜的第一步
- RAG：当你真的需要新知识时再用
- Fine-tuning：解决一致性和风格问题
- Distillation：把“聪明但贵”的能力压缩给小模型

一个 RAG 案例尤其扎眼：初始准确率 45%，目标 95%。团队不是一股脑堆 embedding，而是逐步引入 chunking、分类、重排、工具调用，最后才敢上线。这不是技巧炫耀，而是工程耐心。

延迟不是数据库问题，而是“生成速度”的问题

Jeff Harris 接手后，把话题拉回现实：一个“很准”的 AI 应用，通常又慢又贵。

他强调，LLM 的延迟和数据库完全不同，真正的瓶颈在输出阶段。与其纠结平均响应时间，不如盯住两个指标：TTFT（首 token 时间）和 TBT（token 生成间隔）。

可操作的建议非常工程化：
- 缩短 prompt，比你想象中更有效
- 谨慎使用长上下文，每多一个 token 都在拖慢速度
- 选择更小的模型，往往是最快的优化手段
- 通过区域化部署减少网络延迟

而在成本侧，OpenAI 点名了几个“被低估”的工具：prompt caching（前缀匹配可省 50% 成本）、Usage limit 警报，以及 Batch API——允许 24 小时内异步处理的大规模任务，已经在真实客户中跑出显著节省。结论很直接：很多省钱技巧，本质上也是提速技巧。

总结

这场 DevDay 演讲最有价值的地方，不是某个模型参数，而是一种工程顺序感：先把准确率做到商业上“站得住”，再谈速度，最后才是成本。对 AI 从业者来说，真正的分水岭不是你会不会写 prompt，而是你有没有 eval、敢不敢量化、能不能为 tradeoff 买单。下一步你可以做的事很简单：回到自己的产品，问三个问题——我们的准确率目标真的定义了吗？它和钱挂钩了吗？如果没有，再便宜的模型，也救不了你。

关键词： OpenAI， GPT-4o， AI 应用规模化， Evals， 延迟与成本优化

事实核查备注： GPT-4o mini 成本下降约 99%；32k GPT-4 曾约 120 美元、GPT-4o mini 约 0.6 美元；GPT-4o 速度约为 GPT-4 Turbo 的两倍；人类客服准确率约 66%；Prompt caching 可节省约 50% token 成本；Batch API 支持 24 小时内异步处理。