电商客服接了三个模型之后全崩了——聊聊多模型协作的正确打开方式
一、先看两个真实的失败现场
很多独立开发者在给电商店铺做AI客服时,思路都很相似:找个“最强”的大模型,接上知识库,套个提示词模板,上线收工。小规模没问题,一旦单量上来、需求变复杂,常见两类翻车姿势:
姿势一:单模型打天下,成本和质量两头挨打。
用一个旗舰模型处理所有请求——包括“我的快递到哪了”这种查个物流单号就能回答的问题。结果月底一算账,API费用吃掉大半利润;想换成便宜模型,又发现复杂的售后纠纷投诉处理不了,客户投诉率反弹。
姿势二:多模型各接各的,维护成了灾难。
听说“小模型做分类、大模型做推理”更省钱,于是技术同学分别接入了三家的SDK。三家SDK的请求格式、流式接口、错误码、计费方式全都不一样;某家悄悄调整了接口版本,客服系统在夜里静默失败了两小时没人发现;每次加一个模型,都要重写一遍重试逻辑和监控埋点。最后模型没省多少钱,人力先烧完了。
这两个坑的共同根源是:没有在业务和模型之间放一个统一的调度层。
二、正确的架构:按任务分层,由网关统一收口
一个能落地的多模型协作架构,核心思想是“路由分工 + 统一网关”:
用户消息
│
▼
┌─────────────────────┐
│ 统一AI API网关 │ ← 所有模型调用只走这一个出口
│ (鉴权/限流/重试/监控)│
└─────────────────────┘
│
▼
┌─────────────────────┐
│ 意图路由层 │ ← 轻量模型,只做分类
└─────────────────────┘
├── 物流查询/退换货政策 → 检索知识库 + 小模型生成(低成本档)
├── 商品咨询/比价推荐 → 中档模型 + RAG
├── 售后纠纷/情绪激动 → 旗舰模型,带完整上下文
└── 疑难/高风险 → 转人工,AI只做摘要辅助三条路由原则:
- 80%的请求是简单问题,用低成本档模型即可,成本能压到旗舰方案的几分之一;
- 复杂场景才上大模型,比如客户情绪激动、涉及金额争议,需要长上下文理解和细腻话术;
- 路由本身也交给模型,用一个响应极快的轻量模型做意图分类,比写一堆关键词正则可靠得多。
三、关键实现步骤
第一步:梳理问题分层。 导出客服历史对话(脱敏后),人工归类成3-4档,标注每档的典型问法和风险等级。这一步决定路由质量,值得花半天。
第二步:接入统一网关。 不要直接对接各家的SDK,而是让所有调用走同一个AI API网关,用统一的请求格式,网关负责在不同模型之间转发。
第三步:实现意图路由。 核心伪代码:
async def handle_message(user_msg, context):
intent = await gateway.chat(
model="fast-classifier",
prompt=f"判断客服意图,返回JSON:{INTENT_SCHEMA}",
content=user_msg,
timeout=1.5, # 分类请求严格限时
fallback="complex", # 分类失败时宁可走大模型
)
if intent.type == "logistics":
return await simple_flow(user_msg) # 小模型 + 知识库检索
elif intent.type == "dispute":
return await complex_flow(user_msg, context) # 旗舰模型
else:
return await escalate_to_human(user_msg) # 转人工 + AI摘要注意 fallback="complex":分类失败时宁可多花钱走大模型,也不要给用户一个错误回答。
第四步:兜底与降级。 旗舰模型超时或报错时,自动降级到中档模型并附上“正在为您核实”的缓冲话术;连续失败则直接转人工。
第五步:上线后监控路由分布。 每天看一眼各档位的请求占比和成本,占比异常漂移通常意味着知识库缺了新内容(用户在问模型答不好的问题)。
四、为什么统一网关能显著降低维护成本
这是整个架构里最容易被低估的一环。不走统一网关、各自直连模型API时,你要维护的东西是 N × M:N个模型 × 每家的SDK格式、鉴权方式、流式协议、错误码、限流规则、计费口径。模型一旦换版本、改价格、调接口,你就得逐处排查修改。
有了统一网关之后:
- 一套请求格式适配所有模型——切换或新增模型只改一个模型名参数,不动业务代码;
- 重试、超时、降级逻辑只写一次,所有调用共享,不用在每个调用点重复造轮子;
- 监控和成本统计天然集中,哪个档位花多少钱、错误率多少,一眼看清,而不是月底翻三家账单对Excel;
- 密钥统一管理,不用把API Key散落在多处配置文件里,降低泄露风险。
本质上,网关把“模型供应商的差异”这个变量收敛到了一个点上。对一两个人的小团队来说,这意味着模型选型可以从“一次性的重决策”变成“随时可调的运营参数”——今天A家降价就切A,明天B家出新模型就灰度试试,业务代码一行不改。
五、给小团队的落地节奏建议
- 第1周:问题分层 + 网关接入 + 单档模型跑通;
- 第2周:加意图路由和知识库检索,覆盖80%常见问题;
- 第3周:接入旗舰模型处理复杂场景,配置降级与转人工;
- 上线后:每周复盘一次路由分布与人工转接率,持续优化分类提示词。
多模型协作不难,难的是别让“多”变成“乱”。把调度收口到一个统一网关上,剩下的事情都会顺理成章。
如果你正准备动手搭建这套架构,可以从接入一个统一的AI API网关开始,注册入口在这里:https://api.thistoken.ai/register
---
不想折腾多家供应商的接入差异?在 https://api.thistoken.ai/register 注册,用一个 base_url 调用所有模型。