十一月十日,硅谷的 AI 媒体 Latent Space 开了一个无立场模型测评栏目,首期选的是中国公司 NaiveAI 开源的 Naive-N0.5-Flash。测评给出的评价是黑马,在多项基准上表现不错,推理效率和响应速度被特别提到。

这条消息值得琢磨的地方不在排名,在于测评的选材逻辑:他们第一个挑的不是最大的厂,是一个相对不那么知名的开源模型。

为什么测评方要挑小厂?

因为大厂模型已经被测烂了,结论稳定,没有新闻价值。小厂模型才有可能出现意外,而意外才是内容。

这背后是一个真实的市场变化:开源模型的供给已经足够多,多到测评方需要靠差异化选材来吸引读者。两年前不是这样,两年前能跑通的模型屈指可数。

性价比拐点到了吗?

到了,但拐的不是价格,是够用线。所谓够用线,是指对于某类具体任务,模型能力达到可用水平的最低配置。这条线在过去一年里持续下移。

下移的原因是开源基座 + 微调 + 蒸馏这套组合拳成熟了。一个团队不需要从零训练,拿开源基座做领域微调,几周就能做出在特定任务上接近大厂水平的模型。

这对企业选型意味着什么?

意味着不该再按品牌选,该按任务选。同一个企业里,写文案、做客服、跑代码、审合同,这四类任务的最优模型很可能不是同一个。

按品牌选的问题是绑定。绑定之后,价格、配额、接口变更全都被供应商掌握。按任务选,每个任务独立评估,随时可以换。

怎么评估才算靠谱?

三步。第一步,把任务拆成可判定的样本,至少两百条,覆盖正常情况和边界情况。第二步,用同一套提示词跑三个以上候选,人工盲评。第三步,算总成本,包括调用费、重试率、人工复核时间。

第三步最容易被跳过,也最能拉开差距。一个准确率高五个百分点但重试率翻倍的模型,总成本往往更高。

开源模型的风险在哪?

在维护。开源给你的是权重,不是服务。版本升级、安全补丁、性能优化,全得自己做。一个没有工程团队的公司,用开源模型省下的调用费,很容易被运维成本吃掉。

另一个风险是合规。开源协议的商用条款要逐条看,有些模型禁止特定用途,有些要求衍生模型同样开源。这些条款在选型阶段不显眼,出事的时候很致命。

该给什么建议?

中型以上团队,建立自己的评测集,按任务分配模型,不要绑定单一供应商。小团队,先用闭源接口跑通业务,等业务稳定了再考虑自建。

不要因为一条测评就换模型。测评是别人的任务集,你的任务集跟它不一样。真正有价值的动作是把自己的评测集建起来,这件事一次投入长期受益。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论