长上下文降价之后,我们团队暂停了RAG重构评审——一位技术管理者的决策复盘
一个被降价打断的架构评审
上个月我们排期了一整周的架构评审,主题是「RAG管道重构」:向量库换型、重排模型升级、切块策略调优,预估投入两个后端加一个算法同学,六到八周。评审会开到一半,有同学甩出一张各家API长上下文价格对比表——百万token的输入价格,和一年前相比已经不可同日而语。会议室安静了三十秒,然后有人问了一句:「我们为什么还要重构?」
这个问题值得认真回答,而不是拍脑袋。作为管理者,我关心的不是技术上的「能不能」,而是三件事:流程要不要改、团队协作成本怎么算、风险边界在哪。这篇复盘记录我们团队一个月来的观察和结论,供同行参考。
先泼冷水:降价不等于「全量塞上下文」可行
从趋势上看,长上下文的价格确实在快速下探,这已不是某一家供应商的动作,而是行业性的走向。但价格只是成本公式的一半,另一半是用量。粗算一笔账:
- 过去RAG架构下,一次问答可能命中几千token的相关片段,加上提示词,输入量在可控范围;
- 如果改为「整份文档全塞」,一份50页的PDF轻轻松松数万token。单次调用便宜了,但乘以每天数万次调用,账单未必友好——尤其当你的产品有大量重复性问题时;
- 更隐蔽的是延迟成本:长输入的首token时间普遍上升,对话类产品的体验指标会直接承压。
所以我们的第一个结论是:降价改变的是决策空间,不是决策本身。原来「必须做检索」的场景,现在变成了「值得算一笔账再定」的场景。
管理者视角:这不是技术选型,是流程与风险问题
把讨论从「RAG还是长上下文」升级到架构治理层面,我们明确了三个管理动作:
第一,把「按问题分层」写进流程。 我们强制要求产品侧给每个功能打标签:高频重复问题(FAQ类)走缓存和小模型;需要引用大范围资料的分析类问题,才允许长上下文直塞;中间地带维持检索。这需要产品、后端、算法三方对齐,不是某一个同学能拍板的。我们为此加了一个轻量的「token预算评审」环节——新功能上线前,预估单次调用的输入规模和月度成本,超标要走我这里审批。听起来官僚,但两个月跑下来,避免了两个明显的浪费点。
第二,协作成本要算进架构账。 重构RAG管道意味着数据管道、索引更新、badcase归因这套体系继续维护,团队里至少要有人长期「守着」这套链路。改走长上下文,链路确实短了,调试和排错都更直接——但代价是对单一供应商的定价和限流策略依赖加深。我们的做法是接入层统一走API网关,业务代码不感知底层模型,保留随时切换和灰度的能力。这等于给架构决策留了退路:无论选哪条路,切换成本被控制在配置层面。
第三,风险控制:长上下文的「读到」不等于「读对」。 团队做了一轮评测,长上下文在文档中后段的细节召回上仍有不稳定的情况,且不同模型表现差异不小。对容错要求高的场景(合同、财务类问答),我们保留检索+引用定位的方案,因为可追溯性本身就是合规需求。降价可以让我们容忍更高的单次成本,但不能让我们容忍不可解释的错误。
对开发者的具体影响
落到一线开发者,这轮趋势意味着三件事:
- 接入复杂度两极分化。 走长上下文的模块,接入极其简单,一个请求搞定;走检索的模块,复杂度没有下降。团队要学会判断哪个模块该往哪边走,而不是一刀切。
- 模型选择的决策频率上升。 价格变动快,意味着半年一次的选型评审节奏不够了。建议把模型路由做成配置化,让「换模型」从两周的工程活变成一次配置变更。
- 成本可观测性变成刚需。 不管选哪条路,没有按模块、按功能维度的token用量统计,一切优化都是盲调。这是我们优先补齐的基础设施。
给开发者的应对建议
- 别急着删代码。 保留RAG链路,把它降级为「可开关的备选路径」,用真实流量做A/B对比,用数据说话。
- 建立评测集再动手。 没有一套稳定的问答评测集,长上下文换上去是好是坏,你只能靠用户投诉知道。
- 分层路由优先于架构站队。 高频走缓存、重检索,长尾走长上下文,往往比「二选一」更省钱。
- 接入层解耦。 无论用哪家的长上下文模型,走统一网关接入,保留议价和切换的自由度。
我们最终的评审结论是:重构暂缓,但把六周的重构预算,改投到了评测体系、成本看板和网关化的接入层上。架构之争三年内不会有终局,但让团队「随时换得起」的能力,什么时候投都不亏。
如果你也在重新评估模型接入和成本结构,可以试试通过统一网关管理多家模型的长上下文能力:https://api.thistoken.ai/register
---
本文的示例只需一个 API Key 就能复现:在 https://api.thistoken.ai/register 注册即用。