Kimi K3 开源权重的 day-0 适配：为什么 prefix caching 反而默认关
7 月 27 日 vLLM 团队宣布对 Kimi K3 实现 day-0 支持。这条博客最有信息量的不是「又支持了一个新模型」，而是它给出的那条部署提示：prefix caching 默认是关的。 K3 上线了，prefix caching 为什么反而默认关？ 对绝大多数 Transformer 模型，vLLM 默认就开 prefix caching，让重复前缀复用 KV。但 K3 采用了仍在快速演进的混合缓存设计，缓存块的组织方式和经典 KV 不完全一样。在混合缓存模型稳定之前，团队选择保守默认，需要显式传 –enable-prefix-caching 才打开。 这个细节对部署者很重要：如果你照常用法跑 K3，却发现缓存没命中、成本居高不下，第一反应应该是去检查这个开关，而不是怀疑模型本身慢。 day-0 支持对开源生态意味着什么？ 开源模型发布当天就能在主流推理框架上跑起来，已经从「奇迹」变成「标配」。vLLM 对 Qwen、Kimi 这类国产开源旗舰的适配速度，几乎与官方发布同步。背后是社区维护者与模型团队之间越来越紧的协作。 上 Kimi K3 时给部署者什么建议？ 上任何一个新开源模型，先读它在推理框架上的 release 说明，重点看三件事：prefix caching 默认状态、推荐量化方式、是否需要特定并行策略。这些往往决定了你第一批用户的账单体验。 开源模型的竞争现在拼的是什么？ 开源生态的竞争，已经不只是权重谁开放得早，而是「权重加推理栈加默认参数」的整套开箱体验。day-0 能跑只是入场券，跑得出便宜、跑得稳，才是真壁垒。 上线新开源模型前要核对什么？ 新开源模型到手，先别着急开跑。第一步读它在推理框架上的部署说明，把 prefix caching、量化、并行这三项默认值记下来。第二步，按说明手动打开被默认关闭的关键开关，比如 K3 的 –enable-prefix-caching。第三步，用一小批真实请求压测缓存命中率与单 token 成本，确认和你的预期一致。这一套动作看似琐碎，却能避免「模型跑得起来但账单看不懂」的常见窘境。开源社区对新模型的适配很快，但默认参数常常是保守值，真正的性价比要靠你自己拧出来。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：Kimi-K3