三种微调方法对比

方法成本效果适用
全参微调极高最好大厂/特殊领域
LoRA低好大多数场景
QLoRA极低较好单卡/小团队

LoRA实战要点

  1. rank选择：8-64，任务简单用小rank
  2. 学习率：1e-4左右，比全参微调大
  3. 数据质量大于数量：几百条高质量样本胜过几万条噪声
  4. 混合任务：不要只用一个任务的数据

什么时候不要微调

  • 知识类问题：用RAG更合适
  • 风格类问题：提示词就能解决
  • 数据不足：微调会过拟合

结论

微调是最后手段，先用RAG和提示词。确实要微调，优先LoRA。