B200

十月初，Baseten 放出 MetaInfer，一个只用模型知识、不跑目标硬件就自动生成推理引擎的工具。它内部让 Claude Code 与 Fable 5 这类编码智能体去自动调优 serving 内核。公开数据很激进，在单张 NVIDIA B200 上跑 Qwen-3.6-35B，生成出来的引擎 VibeQwen 达到约一千七百九十二 token 每秒的解码速度，比 vLLM 提升约百分之九十。 用智能体调内核比手写快多少？ 手写推理内核是专家活，一个融合 kernel 要反复试到能榨干芯片为止。MetaInfer 的思路是把这活交给编码智能体自动搜参、自动组合，把「调优」从数周压到自动跑一遍。对没有内核专家的团队，这等于一夜之间拿到一个接近专家水准的 Serving 配置。但要清醒，它依赖模型对硬件的先验知识，跨芯片迁移时未必还能拿到同样提升，正式用前必须在自己的真实负载上复测。 生成的引擎锁死在单卡单模型吗？ 按演示，VibeQwen 是针对 B200 与 Qwen-3.6-35B 这个具体组合生成的，换模型、换卡都得重新生成。它更像一个「为你这个组合量身定制的快引擎」，而不是通用框架。生产环境建议把它当成在线服务的加速层，背后仍保留 vLLM 这类通用栈做兜底，一旦自动生成的引擎在新版本模型上掉链子，能秒切回通用栈。别把所有鸡蛋放进一个智能体自动生成、又没人能完全看懂的内核里。 自动生成的引擎要在自己真实负载上复测，跨芯片迁移不保证提速；背后保留 vLLM 通用栈兜底。别把全生产压在一个没人完全看懂的自动内核上。它适合没有内核专家的团队快速拿到加速，但专家审核仍不能省。上线前先压一轮长尾请求，看突发并发下显存与尾延迟是否稳，再决定是否切主流量。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论