有研究称,部分中国开源模型的权重里带有可识别的随机数痕迹,能反推出训练用的是哪一代英伟达芯片。这个发现的技术意义和产业意义不一样。
指纹是怎么留下的?
来自训练过程中的随机数生成。不同架构的 GPU 在浮点运算和随机初始化上有细微差异,这些差异会固化进权重。
差异极小,但可统计识别。
为什么这件事重要?
因为它让训练过程变得可取证。模型说自己是在某类卡上训的,别人可以验证。
对供应链审查来说,这是硬证据。
对开源生态是好事还是坏事?
两面。好的一面是透明度提升,抄袭和虚假宣传更难。坏的一面是使用者的选择会被追溯,某些场景下会带来合规压力。
开源的中立性因此被削弱。
模型厂能消除指纹吗?
能减弱,不能消除。加噪声、换初始化、混合多代卡训练,都能模糊信号,但会提高成本并可能损伤性能。
彻底消除等于放弃可复现性。
这对国内厂商意味着什么?
意味着训练基础设施的选择会被看见。用国产卡训练,指纹也会成为另一种标识,反而是背书。
所以这不是单纯的暴露,也是声明。
对使用者意味着什么?
意味着采购时可以要求提供训练环境说明,并用公开方法做交叉验证。
对高合规要求的场景,这一条会进合同。
对做内容的人意味着什么?
意味着一个新选题方向:模型 provenance,也就是模型出身。这类内容现在很空白,但会越来越重要。
写清楚怎么验证、验证结果意味着什么,比转述新闻有价值。
一句话判断?
权重不只是参数,它记录历史。能被读出来的历史,就会成为规则的一部分。
开源越彻底,可追溯性越强。这是代价,也是信任的基础。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论