十月十二日的 Unsloth 更新笔记信息量很大，除了浏览器操控与新图像模型，还带来三件和本地跑模型直接相关的事，苹果芯片上支持投机解码、MoE 格式的 GGUF 推理更快，以及文本扩散 LLM 训练能力。对在 Mac 上折腾本地模型的开发者，这是一次实打实的提速。

苹果芯片上投机解码提速明显吗？

投机解码的原理是用一个小草稿模型先猜几个 token，大模型一次性验对，猜中就白捡。苹果芯片统一内存带宽是瓶颈，投机解码能减少来回搬运，在长生成场景里提速明显。但前提是你得有一个和主模型匹配的小草稿模型，不是开箱自动加速。实测时建议先固定一个常用主模型，再配一个同系列小模型做草稿，对比开与不开的速度差，别在不匹配的组合上白忙活。

MoE GGUF 变快对本地跑大模型意味着什么？

MoE 模型参数巨大，但每次只激活少数专家，过去在本地跑 MoE 经常因为专家切换慢而卡顿。这次优化让 MoE 的 GGUF 在本地推理更顺，意味着更多大参数但低激活的模型能在消费级硬件上流畅跑。对个人开发者，这等于多了一批「听起来很大、跑起来不贵」的选择。坑点是 MoE 对内存碎片更敏感，长会话后速度可能掉，定期清理上下文或重启会话是简单有效的对策。

投机解码要配同系列小草稿模型才提速，别在不匹配组合上空耗；MoE 本地跑长会话变慢就定期清上下文。苹果芯片统一内存是瓶颈，减少搬运比堆算力更有效。升级前看 changelog，小版本可能不兼容。建议升级后用同一个长生成任务前后对比速度，确认提速是真的而不是版本波动。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论