微调和提示词是两条不同的路,但很多团队在没算账的情况下就选了微调,结果花了几周做出一个还不如提示词的效果。

要先算哪三笔账?

第一笔是数据账。微调需要几百到几千条高质量样本,标注成本往往被低估。如果连一百条干净样本都凑不齐,微调基本没戏。

第二笔是维护账。业务一变,微调模型要重新训;提示词改几行就行。变化越快的业务,微调越不划算。

第三笔是迭代账。微调的实验周期以天计,提示词以分钟计。前者适合稳定需求,后者适合探索期。

什么情况下微调真的更好?

风格一致性要求极高的场景,比如固定语气的客服、固定格式的文书。这类任务提示词很难稳定,微调能内化风格。

还有延迟敏感的场景。微调后可以用更小的模型达到同样效果,推理更快更便宜。

以及需要学习私有术语的场景。行业黑话、内部缩写,靠提示词解释成本高,微调更省。

有没有折中方案?

有,少样本示例加检索。把二十条高质量示例放进提示词,配合检索动态选例,效果通常能达到微调的七八成,成本低一个量级。

还有参数高效微调,只训练一小部分参数。它降低了算力门槛,但数据要求和全量微调一样,别指望它能解决数据不足的问题。

决策顺序怎么排?

先提示词,再示例加检索,再参数高效微调,最后全量微调。每上一级,都要证明上一级确实不够用。

判断不够用的标准要提前定:准确率差多少、延迟差多少、成本差多少。没有数字,讨论会变成偏好之争。

最后提醒:微调模型会和基座版本绑定。基座升级时,你的微调要重做。这笔长期成本要在决策时算进去。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论