微调

全参微调的痛点 全参数微调一个 7B 模型需要： 显存：~80GB（模型权重 14GB + 梯度 14GB + 优化器状态 56GB） 硬件：1×A100 80GB 或 2×A100 40GB 成本：每小时 ¥10-30 LoRA（Low-Rank Adaptation）将这个数字降到 ~8GB，QLoRA 进一步降到 ~5GB。 LoRA 原理：低秩分解 核心数学 LoRA 假设模型微调时的权重更新 ΔW 是低秩的。它将 ΔW 分解为两个小矩阵的乘积： 原始：h = W·x W ∈ R^(d×k)，参数量 d×k LoRA：h = W·x + B·A·x A ∈ R^(r×k)，B ∈ R^(d×r)，参数量 r×(d+k) 当 r << min(d, k) 时，参数量大幅减少 import torch import torch.nn as nn class LoRALayer(nn.Module): def __init__(self, original_layer, rank=8, alpha=16): super().__init__() self.original = original_layer # 冻结的原始权重 self.rank = rank self.alpha = alpha self.scaling = alpha / rank d_out, d_in = original_layer.weight.shape # 低秩矩阵 A 和 B self.lora_A = nn.Parameter(torch.zeros(rank, d_in)) self.lora_B = nn.Parameter(torch.zeros(d_out, rank)) # A 用 Kaiming 初始化，B 用零初始化 nn.init.kaiming_uniform_(self.lora_A, a=5**0.5) # B 初始为 0，所以训练开始时 ΔW = 0，不改变原模型行为 # 冻结原始权重 for param in self.original.parameters(): param.requires_grad = False def forward(self, x): original_output = self.original(x) lora_output = (x @ self.lora_A.T) @ self.lora_B * self.scaling return original_output + lora_output 参数量对比 以 7B 模型为例（隐藏层 4096）： ...

核心差异：外部知识 vs 内化知识 RAG 和微调本质上是两种不同的知识注入方式。RAG 通过检索外部知识库为模型提供上下文，模型在推理时"查阅资料"回答问题；微调则通过梯度更新将知识"内化"到模型参数中。 # RAG：推理时检索 def rag_inference(query): docs = vector_store.search(query, k=5) prompt = f"基于以下文档回答：\n{docs}\n\n问题：{query}" return llm.generate(prompt) # 微调：知识已内化在参数中 def finetuned_inference(query): return finetuned_llm.generate(query) # 无需外部检索 RAG 的核心优势 1. 实时性 RAG 的知识库可以实时更新。当文档变更时，只需更新向量数据库，无需重新训练模型： # 知识更新：只需重新嵌入文档 new_doc = load_document("updated_policy.pdf") embedding = embed_model.encode(new_doc) vector_store.upsert(embedding, metadata={"source": "policy_v2"}) # 微调更新知识：需要重新训练 # 数据准备 → 训练 → 评估 → 部署（数小时到数天） 2. 可追溯性 RAG 的每个回答都能追溯到具体文档来源，这对企业合规和审计至关重要： response = rag_pipeline.query("公司的退款政策是什么？") print(response.answer) # "退款政策规定..." print(response.sources) # [{"doc": "policy.pdf", "page": 3, "score": 0.92}] 3. 低成本 维度 RAG 微调 初始成本 向量数据库 + 嵌入模型 GPU 训练 + 数据标注 更新成本 重新嵌入变更文档 重新训练（全量或增量） 推理成本 增加检索延迟 + Token 消耗 与基座模型持平 人力成本 文档维护 数据工程 + 训练调优 微调的核心优势 1. 风格与格式控制 微调能改变模型的输出风格、语气和格式，RAG 做不到这点： ...

核心问题 “我应该用 Prompt 工程还是微调？“答案是：取决于瓶颈在哪。 模型理解能力不足 → 微调 上下文信息不足 → RAG / Prompt 工程 输出格式不稳定 → Prompt 工程（或少量微调） 领域知识缺失 → RAG（而非微调） Prompt 工程的能力边界 能做什么 # 1. 角色设定和行为控制 SYSTEM_PROMPT = "你是专业法律顾问，仅基于提供的条文回答" # 2. 输出格式控制 FORMAT_PROMPT = '输出JSON: {"risk_level":"high|medium|low", "factors":[]}' # 3. 少样本学习 FEW_SHOT = "示例：\n输入：订单没到\n输出：{\"intent\":\"logistics\"}\n现在处理：{input}" # 4. 思维链推理 COT = "请一步步思考：首先分析...然后...最后..." 天花板 # 解决不了的问题： # 1. 风格深度定制 — 需要大量token示例，成本高且不稳定 style_prompt = "请模仿以下风格（附10000字示例）..." # token成本爆炸 # 2. 领域术语理解 — Prompt过长，模型注意力分散 medical_prompt = "医学缩写对照表（500个）..." # 效果差 # 3. 复杂工具调用模式 — 规则太多时遵循率下降 tool_prompt = "调用工具的50条注意事项..." # 遵循率低 微调的适用场景 场景一：风格和格式定制 # 微调数据：客服风格定制 training_data = [ {"messages": [ {"role": "system", "content": "你是XX品牌客服"}, {"role": "user", "content": "你们的东西太贵了"}, {"role": "assistant", "content": "理解您的感受～我们坚持品质路线，现有新人9折优惠😊"}, ]}, # 500-1000条这样的数据 ] # 微调后：无需长Prompt，模型自然使用品牌语气 场景二：降低推理成本 # 微调前：GPT-4o + 2000 token system prompt → $0.017/请求 # 微调后：GPT-4o-mini fine-tuned → $0.0015/请求 # 成本降低91%，回本周期约0.5个月 # 蒸馏：用GPT-4生成数据训练小模型 distillation_data = [] for input_text in training_inputs: gpt4_output = await gpt4.generate(input_text, system_prompt=LONG_PROMPT) distillation_data.append({"input": input_text, "output": gpt4_output}) 成本对比 一次性成本 项目 Prompt 工程 微调 数据标注 $0 $500-$5000 开发时间 数小时-数天 1-2 周 训练计算 $0 $10-$100（LoRA） 运行时成本 每天10000次请求对比：Prompt工程(GPT-4o+2000token)月$5100 vs 微调(GPT-4o-mini-ft)月$472，回本约13天。 ...