Few-shot Prompting 指南：示例选择的科学与艺术
1. In-Context Learning 原理 In-Context Learning（ICL）是大语言模型的核心涌现能力之一：无需梯度更新，仅通过上下文中的示例就能学会新任务。 1.1 ICL 的工作机制 当你在 Prompt 中提供示例时，模型的注意力机制会将示例的模式映射到查询上： # Zero-shot 任务：将以下句子分类为正面/负面/中性 输入：这家餐厅的服务态度很好 输出： # Few-shot（1-shot） 任务：将以下句子分类为正面/负面/中性 输入：这道菜太难吃了 → 输出：负面 输入：这家餐厅的服务态度很好 → 输出： 模型通过示例"理解"了任务的输入输出映射规则，而非死记硬背。 1.2 ICL vs Fine-tuning 维度 ICL (Few-shot) Fine-tuning 参数更新 无 有 数据需求 1-20 个示例 数百到数万 部署成本 低（同一模型） 高（需部署多版本） 灵活性 高（随时改示例） 低（需重新训练） 性能上限 中等 高 延迟 较高（长 Prompt） 较低 2. 示例数量的影响 2.1 边际收益递减曲线 示例数量与效果的关系遵循对数增长曲线： 准确率 | ___________ ← 8-shot | / | / ← 4-shot | / |/ ← 1-shot |________ | ← 0-shot +--------- 示例数量 0 1 4 8 16 经验法则： ...