微调 vs Prompt 工程：何时该选哪个？

# 1. 角色设定和行为控制
SYSTEM_PROMPT = "你是专业法律顾问，仅基于提供的条文回答"

# 2. 输出格式控制
FORMAT_PROMPT = '输出JSON: {"risk_level":"high|medium|low", "factors":[]}'

# 3. 少样本学习
FEW_SHOT = "示例：\n输入：订单没到\n输出：{\"intent\":\"logistics\"}\n现在处理：{input}"

# 4. 思维链推理
COT = "请一步步思考：首先分析...然后...最后..."

# 解决不了的问题：
# 1. 风格深度定制 — 需要大量token示例，成本高且不稳定
style_prompt = "请模仿以下风格（附10000字示例）..."  # token成本爆炸

# 2. 领域术语理解 — Prompt过长，模型注意力分散
medical_prompt = "医学缩写对照表（500个）..."  # 效果差

# 3. 复杂工具调用模式 — 规则太多时遵循率下降
tool_prompt = "调用工具的50条注意事项..."  # 遵循率低

# 微调数据：客服风格定制
training_data = [
    {"messages": [
        {"role": "system", "content": "你是XX品牌客服"},
        {"role": "user", "content": "你们的东西太贵了"},
        {"role": "assistant", "content": "理解您的感受～我们坚持品质路线，现有新人9折优惠😊"},
    ]},
    # 500-1000条这样的数据
]
# 微调后：无需长Prompt，模型自然使用品牌语气

# 微调前：GPT-4o + 2000 token system prompt → $0.017/请求
# 微调后：GPT-4o-mini fine-tuned → $0.0015/请求
# 成本降低91%，回本周期约0.5个月

# 蒸馏：用GPT-4生成数据训练小模型
distillation_data = []
for input_text in training_inputs:
    gpt4_output = await gpt4.generate(input_text, system_prompt=LONG_PROMPT)
    distillation_data.append({"input": input_text, "output": gpt4_output})

                    数据量是否充足(>500条)？
                    Yes                  No
              ┌─────────┐          ┌──────────┐
              │格式/风格 │          │ Prompt   │
              │定制需求? │          │ 工程+RAG │
              └────┬────┘          └──────────┘
              Yes  │  No
         ┌────────┴────────┐
         │                 │
   ┌─────▼─────┐    ┌──────▼──────┐
   │   微调     │    │ Prompt 工程 │
   │ (LoRA优先) │    │  优化即可    │
   └───────────┘    └─────────────┘

# 微调处理不变的部分（语气、格式、工具调用）
# Prompt 处理变化的部分（促销信息、用户信息）
SYSTEM_PROMPT = """你是{brand}客服。
当前时间：{current_time}
今日促销：{today_promotion}
注意：促销信息每天变化，以本Prompt为准。"""

class HybridRouter:
    async def run(self, input_text):
        result = await self.ft_model.generate(input_text)
        if self._estimate_confidence(result) >= 0.85:
            return result
        return await self.fb_model.generate(input_text, system_prompt=DETAILED_PROMPT)