一年前,企业选模型基本是闭源优先,理由是能力差距明显。现在这个前提在动摇,多个开源模型在常见任务上已经接近闭源水平。
选型标准如果还停留在谁更强,就会做出错误决策。
能力差距还剩多少?
在通用问答、文案生成、摘要这类任务上,差距已经很小,人工盲评很难稳定区分。
在复杂推理、长链条规划、代码生成上,闭源仍有优势,但优势在收窄。收窄的速度取决于开源社区的投入强度,目前看投入还在加速。
为什么能力接近了还不能直接换?
因为能力只是一项。还有五项同样重要:稳定性、延迟、成本结构、合规条款、可维护性。
稳定性指高峰期的可用性和输出一致性。延迟指首 token 时间和完整响应时间。成本结构不光看单价,还要看重试率和人工复核成本。
这五项里哪项最容易翻车?
可维护性。开源给你权重,不给服务。版本升级、安全修复、性能调优都得自己做,遇到问题也没有厂商支持。
一个没有工程团队的公司,用开源省下的调用费,很容易被一次线上事故吃掉。这类事故的代价不是钱,是客户信任。
什么规模适合自建?
粗略的判断:如果模型调用月支出超过五万,且有一到两个能专职做推理优化的工程师,自建开始划算。
低于这个规模,用闭源或托管服务更经济。省下的钱应该投在业务上,而不是投在基础设施上。
混合架构可行吗?
可行,而且越来越多团队在用。核心链路用闭源保稳定,边缘场景用开源降成本,两者共用一套抽象层。
关键是抽象层要设计好。业务代码不直接调具体厂商的接口,而是调一个内部封装的统一接口。这样换模型只改一层。
选型标准该怎么改?
从选最强改成选最合适。具体三步:先定义任务的合格线,再在合格线以上的候选里比成本,最后在小范围真实流量上验证。
不要用公开榜单做决策。榜单的题目分布跟你的业务分布不一样,榜单第一在你的场景里可能排第五。
哪个点最容易被忽略?
开源模型的许可证条款要逐条读。有些禁止商业使用,有些要求衍生模型开源,有些对专利有特殊约定。
这些条款在选型阶段不显眼,但会决定产品能不能上线。法务介入得越早越好,别等到开发完了才发现用不了。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论