Manus 在 10 月 8 日融资官宣里明确提到,正在组建团队做国内产品、推进与国产模型的适配。连这个估值 40 亿美元的 Agent 标杆都在往国产模型上迁,说明一件事:对跑在国内合规环境、又对成本敏感的团队,旗舰模型不再是唯一选择。本文给一套可直接照搬的灰度切换流程,把工作流里最烧钱的那部分请求,安全地切到国产模型上。
第一步:请求该怎么分级才不一刀切?
不要把整个产品一下切过去。先把你所有的请求按容错度分三档:
- 低风险:分类、提取、摘要、改写——错一点不影响业务,可以先切。
- 中风险:问答、文案生成——切过去要加人工抽检。
- 高风险:直接面向 C 端的关键决策、合同生成——暂时留在旗舰模型。
灰度的第一刀,只切低风险档。这一步选错了,后面全白做。
第二步:路由中间层到底该怎么搭?
在你的应用和模型之间加一层路由,按比例把请求分发到旗舰模型和国产模型。最简单的实现:用一个权重配置,比如低风险请求里 20% 走国产模型、80% 走原模型,观察一周后把比例调到 50%、再到 100%。
关键是同一份请求,两边都记日志。你需要能事后拉出来对比:同一个问题,旗舰模型答了什么、国产模型答了什么、用户最终有没有投诉。
第三步:怎么用评测集判断能不能切?
切之前,先准备 100 条覆盖你真实业务的测试用例,包括正常情况、边界情况、长输入。同一批用例分别跑旗舰模型和国产模型,按你自己的标准打分。如果国产模型在低风险档得分掉到旗舰的 90% 以下,说明这档暂时不能切,得等它迭代。
这个评测集要长期保留,每次模型升级都重跑——它就是你的切换闸门。
切国产模型最该警惕什么?
切国产模型的最大风险不是质量,是合规和稳定性。国产模型在数据出境、内容审核上有额外要求,切之前确认你的业务数据不碰红线。另外国产模型之间 API 兼容度参差不齐,路由层要做错误兜底:国产模型超时或报错时,自动回退到旗舰模型,别让用户感知到。
Manus 都在适配国产模型,说明这条路已经被趟过一遍了。你现在切,是抄作业,不是开荒。