LoRA 微调是让通用模型学会你自己风格或领域知识的捷径，入门门槛比全量微调低得多，但坑也密集。数据对不对、参数松不松，直接决定训出来的模型是宝贝还是废铁。下面是初学者该知道的关键参数与常见坑。
数据准备为什么比调参重要十倍？
LoRA 的效果上限由数据决定。先准备五十到两百条高质量样本，格式统一为输入输出对，每条一两百字。数据要满足三性：一致性——样本风格统一，别一半正式一半口语；多样性——覆盖你希望模型处理的各种情况；干净——标点、格式、事实错误先洗掉。宁可五十条精挑细选，不要五百条凑数。数据少的时候，过拟合是常态，不是事故。
关键参数怎么设？
起步参考：学习率选一到两个数量级，常见从十的负四次方附近起步；秩 r 选八到十六，先小后大；训练轮次三到五轮起步， loss 不降就停，别硬拉到十轮。显存不够就把批次调小、梯度累积补上。验证方法：每轮结束拿几条没参与训练的测试题跑一下，输出风格对不对。训练 loss 降到很低但测试输出跑偏，就是过拟合，回退轮次或加数据。
最常见的坑是什么？
三个。一是拿错数据训，想训写作风格却喂了一堆事实问答，模型学成四不像。二是学习率过大，训完模型开口全是胡话。三是训完不对比，把 LoRA 加载前后的输出并排比一比，才能确认确实学到了东西。新手建议从一个开源工具链开始，参数跟着默认模板走，一次只改一个变量。微调是手艺，多训两版对比，比看十篇教程管用。最后提醒：训完的 LoRA 文件名和训练日期要标注清楚，附上样本数量与学习率参数，别过两个月自己都分不清哪版是哪版。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论
