提速路线

1. 量化（收益最大）

  • FP16到INT8：速度提升约2倍
  • INT8到INT4：再提升约1.5倍
  • 质量损失：INT4约2-3%

2. KV缓存优化

  • 启用KV Cache量化
  • 控制上下文长度
  • 使用PagedAttention

3. 推理框架

  • vLLM/llama.cpp优化
  • 连续批处理
  • 投机采样

4. 硬件优化

  • 双通道内存
  • 显存占用监控
  • 风扇散热（性能会因温度下降）

实测数据

一台消费级PC（4090 24GB）：

  • 默认配置：15 token/s
  • 全优化后：45 token/s
  • 提升3倍

注意

提速不能牺牲质量。每次优化后都要跑评测对比。