LoRA：用0.1%的参数达到全量微调效果

LoRA（Low-Rank Adaptation）已成为大模型微调的事实标准。其核心思想简单而优雅：冻结预训练权重，仅训练注入的低秩矩阵。

数学原理

对于预训练权重矩阵 $W_0 \in \mathbb{R}^{d \times k}$，LoRA将权重更新表示为两个小矩阵的乘积：

$$W = W_0 + \Delta W = W_0 + BA$$

其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。

初始化时，$A$用高斯随机初始化，$B$用零矩阵初始化，确保训练开始时 $\Delta W = 0$，不破坏预训练效果。

参数缩减比率为 $\frac{r(d+k)}{dk}$。以7B模型为例，当 $r=8$ 时，可训练参数仅约10M，占全量参数的0.14%。

关键超参数调优

秩（Rank）的选择

秩 $r$ 是LoRA最重要的超参数。经验法则：

  • r=4~8：简单任务（文本分类、风格迁移）
  • r=16~32：中等任务（指令跟随、领域适配）
  • r=64+：复杂任务（代码生成、数学推理）

但更大的秩并不意味着更好的效果。研究表明，当秩超过某个阈值后，性能增益趋缓甚至下降，因为低秩约束本身具有正则化作用。

目标模块选择

LoRA可以注入到不同层：注意力层的Q/K/V/O矩阵、FFN层的up/down矩阵。实践建议：

# 推荐配置：同时微调注意力和FFN
target_modules = [
    "q_proj", "k_proj", "v_proj", "o_proj",
    "gate_proj", "up_proj", "down_proj"
]

仅微调注意力层往往不够，FFN层包含大量领域知识，加入FFN层通常能提升3-5个点。

学习率与调度器

LoRA的学习率通常比全量微调高10倍：

  • 全量微调：1e-5 ~ 5e-5
  • LoRA：1e-4 ~ 5e-4
  • QLoRA：1e-4 ~ 3e-4

调度器推荐cosine decay配合warmup，warmup步数占总步数的3-5%。

QLoRA：4bit量化下的微调

QLoRA在LoRA基础上引入4位量化，使得在单张24GB显卡上微调70B模型成为可能：

from transformers import BitsAndBytesConfig
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",        # NormalFloat4量化
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,    # 双重量化
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3-70B",
    quantization_config=bnb_config,
    device_map="auto"
)

NF4（NormalFloat 4-bit）是QLoRA论文提出的量化格式，假设权重服从正态分布，通过非均匀量化网格实现比均匀量化更低的误差。

常见陷阱

1. 数据量与质量的不匹配

LoRA对数据质量极为敏感。100条高质量数据的效果通常优于10000条低质量数据。建议：

  • 每条数据人工审核
  • 保持任务多样性
  • 数据格式与预训练格式一致

2. 灾难性遗忘

微调可能导致模型遗忘通用能力。缓解策略：

  • 混合10-20%的通用指令数据
  • 使用较低的LoRA alpha值（如8-16）
  • 采用DPO（Direct Preference Optimization）替代SFT

3. 推理时的合并问题

LoRA权重可以在推理时合并到基础模型中，消除额外延迟：

model = model.merge_and_unload()
model.save_pretrained("./merged_model")

但注意：合并后无法回退到原始权重，建议保留原始模型和LoRA适配器。

微调效果评估

除了标准的benchmark评估外，建议建立以下评估维度：

  1. 任务特定指标：准确率、F1、BLEU等
  2. 通用能力保持度：在MMLU、HumanEval等基准上的变化
  3. 人工评估：盲评对比微调前后的输出质量
  4. 毒性测试：确保微调不引入有害输出

结语

LoRA以其极低的计算成本和接近全量微调的效果，成为大模型领域适配的首选方案。随着DoRA、GaLore等新方法的提出，参数高效微调技术仍在快速演进。但LoRA作为最成熟、生态最完善的方案，仍然是工程实践的起点。