同一个问答机器人,三个场景换三个模型后,我们每月省下六成推理账单
背景:一个“够用就行”的模型,正在悄悄吃掉你的利润
很多小团队接入企业内部问答机器人时,思路很朴素:挑一个能力最强的模型,所有问题都丢给它。逻辑是“反正问答机器人是核心功能,不能省钱”。
我们团队最初也是这么干的。内部知识库问答上线头两个月,全部请求走同一个高端模型。直到做月度复盘时,我们拉了一下日志数据,才发现一个尴尬的事实:
约 78% 的提问,是“报销流程怎么走”“WiFi 密码是多少”“年假余额在哪查”这类高频简单问题。这些问题用最贵的模型回答,和使用中档模型的回答质量几乎无法区分——但账单差距是实打实的。
更扎心的是时间成本:每天约有 40 多条问题因为排队、超时或上下文超限需要人工重新处理,运维同事平均每天要花 30-40 分钟在这上面。这些时间没体现在 API 账单上,但都是真金白银的人力成本。
核心思路:按场景切分,而不是按“感觉”切分
我们最终把问答机器人的请求拆成了三个场景,每个场景配不同的模型策略。切分依据不是模型排行榜,而是问题的复杂度和成本敏感度。
场景一:高频标准问答(约占 70-80% 流量)
典型问题:制度查询、流程指引、常见故障排查。
特征是:答案基本都能在知识库文档里找到,问题表述相对规范,对推理能力要求低。
模型策略:轻量级、响应快的模型 + 较小的 max_tokens 上限。
这一档我们设置的思考预算和输出长度都很保守。切换后,这一部分的单次请求成本大约降到了原来的四分之一,而用户满意度调研里“回答不准确”的比例没有变化。
场景二:多文档综合与长上下文理解(约占 15-25% 流量)
典型问题:“跨部门出差审批和报销的标准分别是什么,帮我整理成一张对照表”。
这类问题需要模型读取多份文档、做归纳整合,对长上下文能力和指令遵循能力有真实要求。
模型策略:中高端模型,配合更大的上下文窗口和更精细的 system prompt。
我们没有在这部分省钱。事实证明这是对的:早期尝试用轻量模型硬扛这类问题,一次回答不通顺,用户就要追问两三轮,总 token 消耗反而更高,体验还差。
场景三:兜底与人工转接(约占 5% 流量)
典型问题:模糊提问、超出知识库范围的问题、明显情绪化的投诉类表述。
模型策略:能力最强的模型做意图识别和兜底回答,识别失败则生成工单摘要转人工。
这部分量小,但决定了用户对整个机器人的“底线印象”,值得用最好的模型。
切分前后对比
| 维度 | 切分前(单一高端模型) | 切分后(三场景分模型) |
|---|---|---|
| 场景覆盖率 | 100% 流量走同一模型 | 三个场景各配策略 |
| 单次简单问答成本 | 基准 100% | 约 25% |
| 简单问题平均首字延迟 | 基准 | 明显缩短(轻量模型推理更快) |
| 每日人工介入处理量 | 40+ 条 | 约 10 条 |
| 运维每日处理耗时 | 约 30-40 分钟 | 约 10 分钟 |
| 综合月度 API 账单 | 基准 100% | 约 40% |
| 复杂问题回答质量 | 良好 | 持平或更好(prompt 分场景调优) |
粗算一笔账:API 成本降了约六成,运维人力每天省下约半小时,一个月下来相当于多出半个人日投到功能迭代上。对一个两三人的小团队,这笔“隐形收入”比账单本身还值钱。
关键基础设施:为什么必须用统一网关
方案听起来美好,但落地时有个现实问题:三个场景可能对应两三家不同供应商的模型。如果每个场景直连各家的 API,你会遇到——
- 鉴权、重试、日志三套代码:每接一个模型就重写一遍胶水逻辑;
- 接口格式不一致:换模型要改请求体结构,回归测试成本高;
- 模型下线或限流时无路可退:某家模型突然不可用,对应场景直接瘫痪。
我们的做法是所有请求统一走一层网关,好处在三件事上体现得最直接:
- 切换模型只改一行配置。场景一路由到 A 模型,某天 A 模型涨价或表现下滑,改个模型名就能切到 B,代码零改动。我们有一次因为供应商侧限流,十分钟内把场景一的模型切走,用户端无感知。
- 统一计费与用量看板。三个场景的成本、延迟、错误率在同一个面板里对比,每个月做“模型策略复盘”只花半小时,而不是分别导三家的账单再手工拼表。
- 按场景设独立的限流和降级策略。场景一量大但容错高,可以激进降级;场景三是兜底,配最高优先级。这种精细化在直连模式下基本做不了。
网关的价值本质上是:把“选哪个模型”从一个架构决策,降级成一个配置项。模型市场变化这么快,这个弹性对小团队是生存级的。
上线路径建议
如果你想照搬这套思路,建议按这个顺序推进,风险最小:
- 先拉两周的历史提问日志,做一次简单的场景分布统计——你的分布很可能和我们的 75/20/5 不一样;
- 对占比最大的场景先切轻量模型,观察一周回答质量指标,这部分收益最大、风险最低;
- 最后再处理兜底场景,把转人工的工单摘要流程打磨好。
整个过程不需要重写机器人,前提是你已经有(或顺手接入)一个支持多模型路由的统一网关。
如果你还没搭这层基础设施,可以看看我们目前在用的这个:注册即用,支持多模型统一接入和按场景路由,配置改动实时生效,很适合想先小成本验证“分场景换模型”这套打法的团队 → https://api.thistoken.ai/register
---
想直接跑通示例?访问 https://api.thistoken.ai/register 注册 ThisToken.AI,获取 API Key 后即可开始。