他们把AI写代码的成本砍掉94%，不是换模型，而是少发了这些东西

如果你以为 AI 写代码贵，是因为模型太强，那你可能被账单骗了。Tesco 的工程师 Raj 讲了一个更反直觉的真相：真正烧钱的不是模型在“思考”，而是你一次次把用不着的代码塞进上下文。更狠的是，他们几乎没碰模型，就把 Token 砍掉了 94%。

AI 账单突然爆炸的那一刻，他们才发现真正的“凶手”

故事的起点一点都不高大上。Raj 和搭档 Foss 像大多数工程师一样，用着 Cursor、GitHub Copilot、Cloud Code 这些常见的 AI 编程工具。第一个月账单正常，第二个月突然翻倍——项目没变，工具没换，只是“用得更多了一点”。

他们开始拆账单，结果非常反直觉：钱几乎不是花在模型生成代码上，而是花在“发送上下文”上。大量并不相关的文件、函数、搜索结果，被一股脑儿塞进上下文窗口，每一次请求都重复付费。

Raj 用了一个很狠的比喻：这就像你每次点一份披萨，系统强制给你加九个你根本不吃的披萨，然后让你为它们全部买单。更糟的是，几乎所有主流 AI 编程工具，默认都在做这件事——“上下文越多越好”。

45，000 个 Token 里，真正有用的只有 5，000 个

他们做了测量。在一个真实项目里，一次典型的 AI 编码请求，会发送大约 45，000 个 Token 的上下文。但真正和问题相关的代码，大约只有 5，000 个。

也就是说，每问一次问题，有将近 90% 的输入 Token 是“陪跑”。而更致命的一点是：在当前的计费模型里，90% 的 AI 成本来自输入，只有 10% 来自输出。

这直接击穿了很多人的直觉。Raj 团队也走过弯路：
- 精简 prompt？没用，模型在读 prompt 之前，45，000 个 Token 已经发出去了。
- 调模型参数？没用，那只影响输出。
- 压缩输出？有用，但意义不大。就算把输出砍掉 75%，也只能省下不到 8% 的总成本。

真正的杠杆只有一个：减少输入。Raj 在演讲中直接给出结论：“Fix the input. That’s where your money goes.”

他们做了什么：一个本地代码索引，专门拦截无用上下文

解决方案并不复杂，但非常“工程师思维”。Raj 和 Foss 没有再造一个更聪明的模型，而是在代码库和 AI 之间，加了一层本地搜索与索引层。

核心思路只有一句话：别把整个文件发给模型，只发它真正需要的那几行。

具体怎么做？他们拆成了五步：
1. 把代码按“语义单元”拆解——函数、类、方法，而不是随机 chunk。
2. 同时做两种搜索：按“含义”的语义搜索 + 按“字面”的关键词搜索。
3. 对搜索结果再压缩，只保留函数名和描述，把 50 行函数压成 5 行摘要。
4. 建立调用关系图，找到相关代码就能顺藤摸瓜。
5. 给每条结果打分，分数不够的直接丢弃，避免“垃圾上下文”。

一个关键细节是：所有东西都在本地跑，不上传云端，不增加额外隐私成本。

为什么要两种搜索？因为它们各自都会“漏”。语义搜索容易忽略精确函数名，关键词搜索又抓不到同义概念。单独用，约 25% 的结果是错的；合在一起，错误率降到 10% 左右。

最有意思的是评分机制。他们试过让 AI 来判断相关性，效果不错，但慢——每次多 2–3 秒。最后反而是一个简单公式赢了：50% 语义分、30% 关键词分、20% 代码新旧程度，0.4 毫秒算完，不用任何额外模型调用。

94% 不是口号：他们把测试、账单和限制都摊在桌面上

Raj 很清楚一个问题：如果没有数字，这一切听起来都像营销。

他们选了一个公开项目 FastAPI（53 个文件），设计了 20 个真实开发问题来测试：
- 不使用索引层：平均每个问题 83K Token。
- 使用索引层：降到 4.9K Token，减少约 94%。
- 再加输出压缩：最低到 523 Token。

更关键的是，代码命中率仍然保持在 90%。测试脚本是公开的，任何人都可以复现。

当然，他们也非常坦诚地讲了边界：
- 94% 是“最坏情况”的对比，现实中像 Cursor 这类工具已经做了一些优化。
- 文件职责越单一，效果越好；一个文件塞太多逻辑，召回率会明显下降。
- 他们选的是小而快的搜索模型，牺牲了一点完美度换速度。

在一个真实项目里，247 次查询，总共省下了 1240 万 Token，按当时模型价格计算，约 186 美元。84% 的节省来自搜索层，其余来自压缩。

Raj 最后的那句话，几乎是对整个行业的挑衅：“我们争论 Opus 还是 Sonnet，但模型可能只占 30% 的成本。剩下 70%，是你喂给它的东西。”

总结

这场分享最有价值的，不是某个具体工具，而是一个成本视角的转变：AI 编程时代，真正的优化空间不在模型，而在上下文。如果你在公司里为 AI 账单头疼，下一步不该是换更便宜的模型，而是问一句——我们到底给模型看了多少它根本用不上的代码？

对个人开发者来说，启发也很直接：把“上下文管理”当成一等公民。无论是本地索引、共享记忆，还是更克制的上下文策略，都会比纠结参数更值钱。也许未来最厉害的 AI 工程师，不是会调模型的人，而是最会“少发一点”的人。

关键词： AI编程， Token成本， 上下文窗口， 本地代码索引， AI搜索

事实核查备注： 需要核查：1）Rajkumar Sakthivel 的身份与所在公司 Tesco；2）FastAPI 测试中 83K、4.9K、523 Token 的具体数据；3）247 次查询节省 1240 万 Token、约 186 美元的计算依据；4）工具名称 CCE 及其开源状态；5）Claude 3 Opus 与 Claude 3.5 Sonnet 的价格对比是否在演讲中明确提及。