Unsloth 是 2026 年微调圈绕不开的开源项目：官方口径是训练提速约 2 倍、省约 70% 显存；三月进一步宣布 MoE 模型微调提速约 12 倍、省超 35% 显存、上下文拉长约 6 倍，且精度无损；AMD 平台七月跟进，GRPO 类强化学习显存省约 80%。很多人把它当「一键加速脚本」，但它真正的壁垒在编译内核与数学改写。

12 倍从哪来

Unsloth 不依赖现成的 PyTorch 算子，而是为 MoE 架构手写 Triton 内核，并配合一系列数学重排。MoE 微调慢，本来是因为专家路由带来不规则的计算图与显存碎片；Unsloth 的新内核把这些不规则操作融合成更少的 kernel launch，减少显存往返。它支持 gpt-oss、Qwen3（30B/235B/VL/Coder）、DeepSeek R1/V3、GLM 等主流架构。

长上下文是另一套功夫

针对长上下文训练，Unsloth 的 Flex Attention 宣称比 FlashAttention 3 还多拉长 8 倍上下文、省 50% 以上显存；在 H100 上可以 QLoRA 4bit 训练 gpt-oss-20b 到 290K 上下文，开启 Tiled MLP 后冲到 50 万 token。这意味着「长文档微调」不再是多卡集群的专利。

为什么今天值得重新关注

九月之后新模型（Qwen3.8、gpt-oss 系）密集发布，Unsloth 几乎做到 day-0 适配，还把 Blackwell NVFP4 精度一起支持了。对小团队，这等于在单张甚至消费级显卡上完成以前需要机房的微调实验——Qwen3.5 在 AMD 上号称 3GB 显存可跑。

判断

开源微调框架的竞争已经从「省显存」升级到「为新架构第一时间写对内核」。Unsloth 这类项目的价值，是让学术与小团队的迭代速度追上大厂。

需要提醒的是，这些夸张的提速数字大多在其官方测试矩阵里成立，换到你的数据与模型组合，仍要自己跑对照实验。微调最容易踩的坑不是慢，而是「省了显存却掉了精度」——上线前务必在自己的验证集上对比全参数基线，别只看宣传页的加速比。

对做强化学习微调的团队，Unsloth 还把 RL 训练的显存与速度优化一并做了，号称相对常规配置省一半到九成显存。这意味着以前需要多卡集群才能跑的 GRPO 类实验，现在单卡就能起步。小团队在垂直领域迭代策略，门槛确实被拉低了。

去论坛讨论

这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：Unsloth 微调