PyTorch 北美大会定于十月二十日至二十一日在加州圣何塞举行，官方博客已经放出 vLLM 的专场安排，横跨 KV 缓存管理与分离式服务、硬件可移植性、内核优化、PyTorch 集成、混合专家推理、注意力机制与生产级 Serving。对天天跟 vLLM 打交道的工程师，这是一次集中补课的机会，不用等会后零散看回放。
分离式服务专场和日常部署有什么关系？
预填充与解码分离（PD 分离）正在成为大流量 Serving 的标配，把吃算力的 prefill 与吃带宽的 decode 拆到不同资源池，能显著压低尾延迟、提升吞吐。你哪怕现在还是单卡部署，也值得先理解这套架构，因为流量一上来，最先遇到的瓶颈就是 prefill 把 decode 卡住。听专场时重点看他们怎么处理 KV 传输与排队，这些经验直接决定扩容时的成本曲线。
普通工程师该追哪几门？
时间有限的话，优先级建议是生产 Serving、KV 缓存管理、MoE 推理。前两者直接关系到你现网的延迟与显存账本，后者关系到未来上 MoE 模型时会不会抓瞎。硬件可移植与内核优化偏底层，除非你要自研部署，否则知道结论即可。看分会场时别贪多，挑两三个和自己当前线上问题对得上的，把演讲里的配置参数与坑点记下来，比泛泛听完二十场有用得多。
时间有限就优先生产 Serving、KV 缓存、MoE 推理三场，挑和现网问题对得上的听。分离式服务哪怕现在单卡也值得先理解，扩容时最先撞上。会后把配置参数与坑点记下来，比泛泛听完有用。建议提前在官网议程页把想追的场次标星，避免现场撞档错过关键一场。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论