RAG vs Fine-tuning：什么时候用哪个？

你的需求是什么？
│
├─ 注入新知识（文档、数据、FAQ）
│  └─ 知识需要频繁更新？
│     ├─ 是 → RAG ✅
│     └─ 否 → RAG 或 Fine-tuning 都行
│
├─ 改变输出风格（语气、格式、结构）
│  └─ Fine-tuning ✅
│
├─ 特定领域任务（医疗、法律、金融）
│  └─ 先 RAG，不够再 Fine-tuning
│
├─ 减少幻觉
│  └─ RAG ✅（可追溯来源）
│
├─ 降低推理成本
│  └─ Fine-tuning ✅（小模型微调替代大模型+RAG）
│
└─ 既要又要
   └─ RAG + Fine-tuning 叠加 ✅✅

需求: 员工查询公司政策、产品文档、技术规范
特点: 文档频繁更新，需要精确引用
→ RAG 完美匹配

需求: 基于产品手册回答用户问题
特点: 需要准确的事实回答，不能瞎编
→ RAG + 来源引用

需求: 基于项目代码库回答开发问题
特点: 代码频繁变化，需要精确匹配
→ RAG（代码作为知识库）

需求: 让 AI 用公司品牌语气回复
特点: 固定的输出风格，不需要事实知识
→ Fine-tuning（学会「怎么说」）

需求: 输入新闻 → 输出固定格式的 JSON 摘要
特点: 纯格式转换任务
→ Fine-tuning（小模型即可）

需求: 医疗领域的诊断助手
特点: 需要理解专业术语和推理模式
→ 先 RAG（医学文献），再 Fine-tuning（诊断推理风格）

┌──────────────────────────────────┐
│  Fine-tuned Model（领域适配）     │
│  ┌────────────────────────────┐  │
│  │ RAG（实时知识注入）         │  │
│  │  ┌──────────────────────┐  │  │
│  │  │ 用户的 Prompt         │  │  │
│  │  └──────────────────────┘  │  │
│  └────────────────────────────┘  │
└──────────────────────────────────┘

Fine-tuning 让模型「懂行」
RAG 让模型「知情」
两者叠加 = 既懂行又知情

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, TrainingArguments
from trl import SFTTrainer

# 1. 加载基座模型
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B")

# 2. LoRA 配置（只训练少量参数）
lora_config = LoraConfig(
    r=8,                        # LoRA 秩
    lora_alpha=32,              # 缩放因子
    target_modules=["q_proj", "v_proj"],  # 目标层
    lora_dropout=0.05,
)

model = get_peft_model(model, lora_config)

# 3. 训练数据格式
train_data = [
    {"input": "用户问题", "output": "期望回答"},
    ...
]

# 4. 训练
trainer = SFTTrainer(
    model=model,
    train_dataset=train_data,
    args=TrainingArguments(
        output_dir='./fine-tuned',
        num_train_epochs=3,
        per_device_train_batch_size=4,
        learning_rate=2e-4,
    ),
)
trainer.train()