模型选型

Reranker 在 RAG 中的角色 标准 RAG 流程：查询 → Embedding 检索 top-100 → LLM 生成。但 Embedding 检索的 recall 高、precision 低，top-5 里经常混入不相关结果。 Reranker 的作用：对 Embedding 检索返回的 top-100 做二次精排，把真正相关的结果提到前面。 查询 → Embedding 检索 (top-100) → Reranker 精排 (top-5) → LLM 召回阶段 精排阶段 生成阶段 效果量化：加入 Reranker 后，RAG 系统的回答准确率通常提升 10-25%。这不是锦上添花，是质变。 Bi-Encoder vs Cross-Encoder 两种架构是 Reranker 选型的核心决策。 Bi-Encoder（双编码器） 查询 → Encoder → 向量 A 文档 → Encoder → 向量 B 相似度 = cos(A, B) 查询和文档独立编码，可以预计算文档向量 速度快，适合大规模召回 但查询和文档没有交互，精度有限 Cross-Encoder（交叉编码器） [CLS] 查询 [SEP] 文档 [SEP] → Transformer → 相关性分数 查询和文档拼接后一起输入 Transformer 每一层都有 attention 交互，精度高 但无法预计算，每次都要前向传播 对比 维度 Bi-Encoder Cross-Encoder 精度 中等 高 速度 快 (ANN 检索) 慢 (逐对计算) 可预计算 是 否 适合阶段 召回 精排 典型模型 BGE / E5 BGE-Reranker / Cohere Rerank 最佳实践：Bi-Encoder 做召回（top-100），Cross-Encoder 做精排（top-5）。这是业界标准两阶段检索架构。 ...

STT 关键指标 STT（Speech-to-Text）选型看五个核心指标： 指标 含义 行业标准 WER Word Error Rate，词错误率 中文 < 5% 为优秀 延迟 实时流式 vs 离线，TTFB 实时 < 300ms 成本 每小时音频价格 < $1/小时为经济 多语言 支持语言数和质量 中文+英文+主要语种 鲁棒性 噪声/口音/远场表现 实际场景必备 2026 年 STT 领域的关键趋势：开源模型（Whisper v4、SenseVoice）的 WER 已经低于商业 API，但在流式实时识别和极端噪声场景上，商业方案仍有优势。 主流平台对比 平台 中文 WER 英文 WER 流式延迟 成本 多语言 开源 Whisper v4 (OpenAI) 3.8% 2.9% 不支持流式 免费 99种 是 Azure Speech 4.2% 3.5% 200ms $1/小时 100+ 否 OpenAI Whisper API 3.8% 2.9% 不支持流式 $0.006/分钟 99种 否(API) Alexa ASR 5.1% 4.3% 150ms 闭源 8种 否 SenseVoice 3.2% 4.1% 250ms 免费 50+ 是 Paraformer 3.5% 5.2% 200ms 免费 2种 是 火山引擎 ASR 3.8% 4.0% 180ms ¥0.4/小时 20+ 否 各平台深度分析 Whisper v4 OpenAI 2025 年发布的 Whisper v4 是开源 STT 的标杆。 ...

TTS 关键指标 TTS（Text-to-Speech）选型不是只听"好不好听"，而是五个维度的综合权衡： 指标 含义 实际影响 自然度 (MOS) Mean Opinion Score，1-5 分 用户能否区分 AI 和真人 延迟 (TTFB) 首音频延迟 实时对话 < 300ms，有声书 < 2s 成本 每千字符/每万字符价格 规模化是否跑得起 多语言 支持语言数量和质量 全球化场景刚需 可控性 SSML/情感/语速/音高 精细控制能力 2026 年 TTS 领域的最大变化：开源模型（CosyVoice、ChatTTS）的质量已经逼近商业方案，声音克隆从"能听"变成了"听不出"。 主流平台对比 平台 自然度 (MOS) TTFB 成本 多语言 声音克隆 SSML ElevenLabs V3 4.7 400ms $0.30/千字符 29种 ★★★★★ 有限 Azure TTS 4.3 150ms $0.016/千字符 140+ ★★★☆ ★★★★★ OpenAI TTS-1 HD 4.5 500ms $0.015/千字符 50+ ❌ ❌ Edge-TTS 4.0 200ms 免费 40+ ❌ 部分 CosyVoice 2 4.5 250ms 免费(自部署) 5种 ★★★★☆ 有限 ChatTTS 4.2 300ms 免费(自部署) 2种 ❌ ❌ 火山引擎 TTS 4.4 180ms ¥0.01/千字符 20+ ★★★★ ★★★★ 各平台深度分析 ElevenLabs V3 2026 年 TTS 领域的标杆。V3 版本在自然度上几乎到了 4.7/5 的天花板。 ...

VLM 为什么重要 2026 年，纯文本 LLM 已经不够用了。文档智能、医疗影像、工业质检、自动驾驶、内容审核——这些场景都需要模型"看懂"图片。视觉语言模型（VLM）是连接视觉和语言的桥梁。 VLM 的核心能力：把图像转化为语义理解，然后用自然语言回答关于图像的问题。 VLM 架构演进 第一代：拼接架构（2023） 图像 → CNN/ViT 提取特征 → 拼接到文本 embedding → LLM 处理 代表：LLaVA、MiniGPT-4。简单粗暴，但图像特征和文本特征对齐差。 第二代：交叉注意力（2024） 图像 → ViT → 交叉注意力层融合到 LLM 的每一层 代表：Flamingo、Qwen-VL。更精细的特征融合，但对齐训练复杂。 第三代：原生多模态（2025-2026） 图像 patch → 直接作为 token 序列输入 LLM（统一架构） 代表：GPT-4o、Gemini 2.0。图像和文本在同一个 transformer 中处理，端到端训练。这是当前最优方案。 架构对比： 架构 图文对齐 训练复杂度 推理效率 代表模型 拼接 差 低 高 LLaVA 交叉注意力 中 高 中 Qwen-VL 原生多模态 优 极高 中 GPT-4o, Gemini 主流 VLM 对比 模型 厂商 图像分辨率 视频支持 音频支持 多图理解 中文OCR GPT-4o OpenAI 2048×2048 ✅ ✅ ✅ ★★★★ Claude 3.5 Anthropic 1568×1568 ❌ ❌ ✅ ★★★☆ Gemini 2.0 Pro Google 4096×4096 ✅ (1h) ✅ ✅ ★★★★ Gemini 2.0 Flash Google 4096×4096 ✅ (10min) ✅ ✅ ★★★☆ Qwen3-VL 阿里 4K ✅ ❌ ✅ ★★★★★ GLM-5V 智谱 2K ✅ ❌ ✅ ★★★★★ 关键能力深度测试 OCR / 文字识别 模型 中文印刷体 中文手写体 复杂排版 表格识别 公式识别 GPT-4o 95% 78% 88% 85% 82% Gemini 2.0 Pro 93% 75% 90% 88% 85% Qwen3-VL 97% 82% 92% 90% 80% GLM-5V 96% 80% 90% 87% 78% 结论：Qwen3-VL 在中文 OCR 上领先，得益于训练数据中大量中文文档。Gemini 在表格和公式识别上有优势。 ...

核心矛盾 2026 年了，所有人都在追旗舰模型。但现实是：你花 $10/M tokens 调 GPT-4o 做的情感分析，用 $0.15/M 的 GPT-4o-mini 准确率只低 2%。那 2% 值 66 倍的价格吗？ 大模型和小模型不是替代关系，是分工关系。关键是搞清楚什么场景该用什么。 小模型的核心优势 1. 成本碾压 模型 级别 输入价格 输出价格 相对成本 GPT-4o 旗舰 $2.50/M $10.00/M 1x GPT-4o-mini 小模型 $0.15/M $0.60/M 1/17 Gemini 2.0 Flash 小模型 $0.075/M $0.30/M 1/33 Qwen3-72B 中型 $0.05/M $0.15/M 1/67 GLM-5 小模型 $0.10/M $0.30/M 1/33 假设日均 1000 万 tokens 输入 + 200 万 tokens 输出： GPT-4o：$45/天 → $1,350/月 GPT-4o-mini：$2.7/天 → $81/月 Gemini Flash：$1.35/天 → $40.5/月 一年下来差了 16 万人民币。 这还不算规模放大后的倍数效应。 ...

DeepSeek 模型家族概览 DeepSeek（深度求索）凭借极具性价比的 MoE 架构和创新的推理模型设计，成为开源大模型领域的重要力量。其模型矩阵分为两条产品线： 通用模型线：DeepSeek-V2 → V3 → V3.1，面向对话、写作、代码等通用任务 推理模型线：DeepSeek-R1，专攻数学、逻辑、科学推理 两者共享基础架构，但在训练策略和推理行为上有本质区别。 DeepSeek-V3 架构解析 DeepSeek-V3 是总参数 671B、激活参数 37B 的 MoE 模型，其架构创新点值得关注： MLA（Multi-head Latent Attention） V3 使用了 DeepSeek 自创的 MLA 注意力机制，替代标准 MHA： class MultiHeadLatentAttention(nn.Module): def __init__(self, d_model, n_heads, d_latent=512): self.down_proj = nn.Linear(d_model, d_latent) # 降维到潜在空间 self.up_proj = nn.Linear(d_latent, d_model) # 升维回原空间 self.n_heads = n_heads # KV Cache 只需存储 d_latent 维度，而非 d_model 维度 # 显存占用减少约 93% def forward(self, x): latent = self.down_proj(x) # [batch, seq, d_latent] # 推理时只需缓存 latent 向量 k_v = self.up_proj(latent) # 按需恢复 return attention(q=x, k=k_v, v=k_v) MLA 的核心优势：KV Cache 压缩率高达 93%，这意味着相同显存可以服务更多并发请求。 细粒度 MoE 路由 256 个路由专家 + 1 个共享专家 每个 token 激活 8 个专家 采用无辅助损失的负载均衡策略，避免专家坍塌 训练效率 DeepSeek-V3 仅用 14.8T tokens 训练，总训练成本约 557 万美元（2048 张 H800），远低于同级别模型。这得益于： ...

智谱 GLM 系列全景 智谱 AI 的 GLM（General Language Model）系列是国内最早的大模型路线之一。从 2023 年 ChatGLM-6B 开源引爆社区，到 GLM-4 系列成为国产大模型第一梯队，智谱走出了一条差异化的技术路线。 GLM 系列的核心产品线： 产品线 模型 定位 开源状态 通用语言 GLM-4-Plus / GLM-4-Air / GLM-4-Flash 对话、写作、分析 部分开源 视觉多模态 GLM-4V / GLM-4V-Plus 图像理解、OCR API 代码生成 CodeGeeX-4 代码补全、生成 开源 推理模型 GLM-Zero 数学、逻辑推理 API 嵌入 Embedding-3 向量表示 API GLM-4 架构解析 GLM-4 采用 Prefix-LM 架构，这是它与 Llama、GPT 等纯 Decoder 模型的核心区别。 Prefix-LM vs Decoder-only 标准 Decoder-only: Token → Token → Token → Token（全因果注意力） Prefix-LM (GLM): [Prefix 部分: 双向注意力] → [生成部分: 因果注意力] 用户输入的 prompt 可以双向交互理解，再自回归生成答案 这种设计让 GLM 在理解任务上具有天然优势——prompt 部分的双向注意力使得模型对用户意图的理解更深入。 ...

Gemma 系列概览 Gemma 是 Google 基于 Gemini 技术推出的开源轻量级模型系列。与 Gemini 的闭源 API 不同，Gemma 面向开源社区，权重可下载、可本地部署、可商用。其定位是"开发者友好的 Gemini 同源技术"。 产品线演进 Gemma 1 (2024.02) Gemma 2 (2024.06) Gemma 3 (2025.03) ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ 2B / 7B │ │ 2B / 9B / 27B│ │ 1B / 4B │ │ 文本 only │───→ │ 文本 only │───→ │ 12B / 27B │ │ 8K 上下文 │ │ 8K 上下文 │ │ 多模态(视觉) │ │ Gemma 许可 │ │ GQA 引入 │ │ 128K 上下文 │ └──────────────┘ └──────────────┘ └──────────────┘ Gemma 2 架构 Gemma 2 引入了多项与 Gemini 同源的架构改进： ...

Llama 系列全景 Meta 的 Llama 系列是开源大模型生态的基石。从 2023 年 2 月 Llama 1 发布至今，四代模型定义了开源 LLM 的行业标准。每一代都在参数规模、训练数据量、上下文长度和架构设计上实现跨越式提升。 Llama 1：开源的起点（2023.02） Llama 1 是 Meta 首个公开发布的大语言模型系列，标志着高质量开源 LLM 时代的开始。 核心规格： 模型 参数量 层数 隐藏维度 训练数据 Llama-7B 7B 32 4096 1.0T tokens Llama-13B 13B 40 5120 1.0T tokens Llama-33B 33B 60 6656 1.0T tokens Llama-65B 65B 80 8192 1.0T tokens 架构特点： 标准 Decoder-only Transformer 采用 RoPE（旋转位置编码）替代绝对位置编码 RMSNorm 替代 LayerNorm，训练更稳定 SwiGLU 激活函数 许可证： 非商业许可，仅限研究用途。这一限制直接催生了 Alpaca、Vicuna 等一系列微调模型。 Llama 2：商业化破冰（2023.07） Llama 2 的最大变化是许可证开放为商用，这改变了整个开源 AI 生态格局。 ...

Mistral AI 公司背景 Mistral AI 成立于 2023 年 4 月，由前 DeepMind 和 Meta 研究员创立，是欧洲最有影响力的 AI 公司。其核心策略：小团队、高效架构、开源优先。 Mistral 的技术路线与众不同——在所有人追求更大 Dense 模型时，他们率先将 MoE 架构做到实用级别。 模型矩阵 模型 参数量 激活参数 类型 上下文 许可证 Mistral 7B 7B 7B Dense 32K Apache 2.0 Mixtral 8x7B 47B 13B MoE 32K Apache 2.0 Mixtral 8x22B 141B 39B MoE 64K Apache 2.0 Mistral Large 2 123B 123B Dense 128K 商用 Codestral 22B 22B Dense 32K 商用 Mathstral 7B 7B 7B Dense 32K Apache 2.0 Pixtral 12B 12B 12B 多模态 128K 商用 Magistral - - 推理模型 - 商用 Mistral 7B：小模型标杆 Mistral 7B 是 Mistral 的开山之作，以 7B 参数量在多个基准上超越 Llama 2 13B。 ...