vLLM CPU 推理 ZenDNN 后端：AMD EPYC 上跑大模型，性能到底提升了多少？

"据红帽官方博客，Red Hat AI 3.4 版本引入了搭载 ZenDNN 后端的 vLLM-CPU，专门为 AMD EPYC 处理器优化 LLM 推理性能。ZenDNN 提供经过调优的计算内核和原语，让 PyTorch 等框架在 AMD CPU 上高效运行。\n"

"据红帽官方博客，Red Hat AI 3.4 版本引入了搭载 ZenDNN 后端的 vLLM-CPU，专门为 AMD EPYC 处理器优化 LLM 推理性能。ZenDNN 提供经过调优的计算内核和原语，让 PyTorch 等框架在 AMD CPU 上高效运行。\n"

据红帽官方博客，Red Hat AI 3.4 版本引入了搭载 ZenDNN 后端的 vLLM-CPU，专门为 AMD EPYC 处理器优化 LLM 推理性能。ZenDNN 提供经过调优的计算内核和原语，让 PyTorch 等框架在 AMD CPU 上高效运行。

ZenDNN 做的事情跟 Intel 的 oneDNN 类似：把矩阵乘法、注意力机制这些高频算子替换成针对 EPYC 微架构手工优化的汇编实现，充分利用 AVX-512 指令集和大内存带宽。对于 CPU 推理这种内存带宽受限的场景，内核优化带来的提升往往比算法改进更直接。

什么时候 CPU 推理比 GPU 划算？答案是：并发量不高、延迟要求不苛刻、但你已经有大批 EPYC 服务器在跑其他业务。把 LLM 推理作为附加负载跑在现有 CPU 集群上，边际成本接近零。红帽在 MLPerf v6.1 里的 CPU-only 提交证明了这条路的可行性。

AMD 在 CPU AI 推理这条路上投入了很多年。ZenDNN 就是他们针对这个场景打造的软件栈，跟 NVIDIA 在 GPU 上做的 CUDA 类似，只是战场从显卡转移到了服务器 CPU。随着企业级 AI 应用从云端 GPU 向边缘和存量 CPU 扩散，这个市场会越来越大。

从性价比角度看，用 EPYC CPU 跑小模型做推理，每路请求的成本确实比 GPU 低。但前提是你已经有这些 CPU 在跑其他业务——如果专门为了跑 LLM 去买 CPU 服务器，那就不如直接上 GPU 了。关键在于盘活存量资源。

随着越来越多的企业开始探索在存量硬件上跑 AI 负载，ZenDNN 这类优化栈的价值会越来越明显。毕竟不是每家公司都有预算买最新的 GPU。

ZenDNN 到底优化了哪些计算？

选择 EPYC CPU 跑 LLM 时，内存通道数和频率比核心数更关键。每个 socket 八个内存通道、频率 4800MHz 以上的配置，推理吞吐会比四通道配置高出一大截。这是内存带宽受限场景的基本常识。

实际部署中建议用 vLLM-CPU 的 ZenDNN 后端跟 stock PyTorch 后端做 A/B 对比。同一台机器、同一个模型、同一组请求，分别跑一遍看吞吐和延迟差异。如果提升不明显，可能是你的瓶颈不在计算而在其他地方。