成本分析

微调成本的四个维度 大模型微调的成本不只是 GPU 租用费，需要从四个维度全面考量： 总成本 = 训练成本 + 存储成本 + 部署成本 + 人力成本 (GPU) (模型存储) (推理) (工程) 成本维度 LoRA QLoRA 全参数 训练显存 中 低 高 训练时间 短 中 长 存储空间 小（几十MB） 小 大（几十GB） 推理延迟 无额外 略有开销 无额外 工程复杂度 低 中 高 1. 训练成本对比 显存需求 class MemoryEstimator: """估算不同微调方法的显存需求""" def estimate(self, model_size_b: float, method: str): # 基础模型显存（bfloat16） base_memory = model_size_b * 2 # 2 bytes per param (bf16) # 训练状态显存（梯度 + 优化器状态） if method == "full": # Adam: 2x params for optimizer states + 1x for gradients training_overhead = base_memory * 3 # 8 bytes/param total elif method == "lora": # 只有 LoRA 参数需要梯度+优化器（约 0.5% 的参数） trainable_ratio = 0.005 training_overhead = base_memory * trainable_ratio * 3 elif method == "qlora": # 基础模型量化到 4bit base_memory = model_size_b * 0.5 # 0.5 bytes per param (4bit) trainable_ratio = 0.005 training_overhead = base_memory * trainable_ratio * 3 # 激活值显存（与 batch_size 和 seq_length 相关） activation_memory = self._estimate_activation(model_size_b, method) total = base_memory + training_overhead + activation_memory return { "base_model": base_memory, "training_overhead": training_overhead, "activation": activation_memory, "total": total, "total_gb": total / 1024 } 不同模型规模的显存需求 模型规模 LoRA QLoRA 全参数 7B 16GB 8GB 120GB 14B 32GB 16GB 240GB 32B 64GB 32GB 560GB 70B 140GB 48GB 1200GB 120B 240GB 80GB 2000GB 训练时间与成本 以 7B 模型、10K 条训练数据、3 epochs 为例： ...