一年前,企业选模型基本是闭源优先,理由是能力差距明显。现在这个前提在动摇,多个开源模型在常见任务上已经接近闭源水平。

选型标准如果还停留在谁更强,就会做出错误决策。

能力差距还剩多少?

在通用问答、文案生成、摘要这类任务上,差距已经很小,人工盲评很难稳定区分。

在复杂推理、长链条规划、代码生成上,闭源仍有优势,但优势在收窄。收窄的速度取决于开源社区的投入强度,目前看投入还在加速。

为什么能力接近了还不能直接换?

因为能力只是一项。还有五项同样重要:稳定性、延迟、成本结构、合规条款、可维护性。

稳定性指高峰期的可用性和输出一致性。延迟指首 token 时间和完整响应时间。成本结构不光看单价,还要看重试率和人工复核成本。

这五项里哪项最容易翻车?

可维护性。开源给你权重,不给服务。版本升级、安全修复、性能调优都得自己做,遇到问题也没有厂商支持。

一个没有工程团队的公司,用开源省下的调用费,很容易被一次线上事故吃掉。这类事故的代价不是钱,是客户信任。

什么规模适合自建?

粗略的判断:如果模型调用月支出超过五万,且有一到两个能专职做推理优化的工程师,自建开始划算。

低于这个规模,用闭源或托管服务更经济。省下的钱应该投在业务上,而不是投在基础设施上。

混合架构可行吗?

可行,而且越来越多团队在用。核心链路用闭源保稳定,边缘场景用开源降成本,两者共用一套抽象层。

关键是抽象层要设计好。业务代码不直接调具体厂商的接口,而是调一个内部封装的统一接口。这样换模型只改一层。

选型标准该怎么改?

从选最强改成选最合适。具体三步:先定义任务的合格线,再在合格线以上的候选里比成本,最后在小范围真实流量上验证。

不要用公开榜单做决策。榜单的题目分布跟你的业务分布不一样,榜单第一在你的场景里可能排第五。

哪个点最容易被忽略?

开源模型的许可证条款要逐条读。有些禁止商业使用,有些要求衍生模型开源,有些对专利有特殊约定。

这些条款在选型阶段不显眼,但会决定产品能不能上线。法务介入得越早越好,别等到开发完了才发现用不了。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论