Unsloth

Unsloth 是 2026 年微调圈绕不开的开源项目：官方口径是训练提速约 2 倍、省约 70% 显存；三月进一步宣布 MoE 模型微调提速约 12 倍、省超 35% 显存、上下文拉长约 6 倍，且精度无损；AMD 平台七月跟进，GRPO 类强化学习显存省约 80%。很多人把它当「一键加速脚本」，但它真正的壁垒在编译内核与数学改写。 12 倍从哪来 Unsloth 不依赖现成的 PyTorch 算子，而是为 MoE 架构手写 Triton 内核，并配合一系列数学重排。MoE 微调慢，本来是因为专家路由带来不规则的计算图与显存碎片；Unsloth 的新内核把这些不规则操作融合成更少的 kernel launch，减少显存往返。它支持 gpt-oss、Qwen3（30B/235B/VL/Coder）、DeepSeek R1/V3、GLM 等主流架构。 长上下文是另一套功夫 针对长上下文训练，Unsloth 的 Flex Attention 宣称比 FlashAttention 3 还多拉长 8 倍上下文、省 50% 以上显存；在 H100 上可以 QLoRA 4bit 训练 gpt-oss-20b 到 290K 上下文，开启 Tiled MLP 后冲到 50 万 token。这意味着「长文档微调」不再是多卡集群的专利。 为什么今天值得重新关注 九月之后新模型（Qwen3.8、gpt-oss 系）密集发布，Unsloth 几乎做到 day-0 适配，还把 Blackwell NVFP4 精度一起支持了。对小团队，这等于在单张甚至消费级显卡上完成以前需要机房的微调实验——Qwen3.5 在 AMD 上号称 3GB 显存可跑。 ...

大模型微调已从研究实验变为工程标配。2026 年，LLaMA-Factory、Axolotl 和 Unsloth 三大工具链形成了微调生态的三足鼎立。LLaMA-Factory 以全中文生态和 WebUI 著称，Axolotl 以灵活配置和深度定制见长，Unsloth 以极致速度和低显存占用突围。本文将在相同条件下对三者进行全面对比。 一、工具概览 维度 LLaMA-Factory Axolotl Unsloth 开发语言 Python Python Python + CUDA 界面 WebUI + CLI YAML 配置 + CLI Python API 核心优势 全中文、易用、方法全 灵活、社区配方丰富 速度快、显存低 支持方法 SFT/LoRA/QLoRA/DPO/PO/KTO SFT/LoRA/QLoRA/DPO/PO SFT/LoRA/QLoRA 支持模型 主流模型全覆盖 主流模型全覆盖 Llama/Qwen/Mistral/Gemma 训练速度 基准 0.95x 1.8-2.5x 显存节省 基准 1.0x 0.5-0.7x 社区活跃度 高（中文为主） 高（英文为主） 高（全球） GitHub Stars 45k+ 28k+ 22k+ 二、功能对比 2.1 微调方法支持 方法 LLaMA-Factory Axolotl Unsloth Full SFT ✅ ✅ ❌ LoRA ✅ ✅ ✅ QLoRA ✅ ✅ ✅ DPO ✅ ✅ ✅ KTO ✅ ✅ ❌ ORPO ✅ ✅ ❌ PPO ✅ ✅ ❌ Reward Model ✅ ✅ ❌ 多模态微调 ✅ ✅ 部分 持续预训练 ✅ ✅ ❌ 分析： ...