决策

NVIDIA 的 Vera Rubin NVL72 在加速量产，CoreWeave、谷歌云、Azure、Oracle、Mistral 都在部署。SemiAnalysis 2026 年 4 月的基准给了一个锚点：GB300 NVL72 的推理成本约 0.123 美元每百万 token。这个数字一出来，很多团队开始认真算账：既然推理这么便宜，我要不要自己买卡？ 决策树的三刀 第一刀，看量级。月调用量在几千万 token 以下，调云 API 的账单也就几百美元，连一张卡的折旧都覆盖不了，直接用 API，别想自建。 第二刀，看利用率。自建集群的成本杀手是「卡闲着」。如果你的流量是白天高、夜里零，买满配集群等于半夜烧钱。这种波形，云 API 的弹性反而便宜——它按你实际用的计费。 第三刀，看数据合规。如果你的请求含不能出内网的数据，那无论算账划不划算，都得自建或本地部署。这时成本是合规税，不是选择题。 什么时候自建才划算 只有同时满足：流量大且稳定（一天到晚都有活）、峰值可预测、且团队有运维能力，自建小集群才开始跑赢云 API。而且别忽略隐性成本：电力、机房、运维人力、以及模型升级要自己折腾。 判断 0.123 美元每百万 token 是硬件裸成本，不是你的到手价。云厂商在上面叠了利润、冗余和服务。对绝大多数团队，正确姿势仍是先用云 API 跑到量级临界点，再谈自建——在你还没证明自己需要那么大流量之前，买卡是把利润提前付给了折旧。 补一个常被忽略的隐性账：自建的弹性成本。流量突然翻三倍时，你没有卡可加；云端 API 却能自动接住峰值，事后又自动回落。这种「为峰值买冗余」的账，对波动大的业务尤其要算进去。别只看平峰时的单价，要看你为峰值付出了多少闲置折旧，那张账单往往被漏掉。 在你证明自己需要那么大的稳定流量之前，买卡往往是把利润提前付给了折旧。先用云端，跑过临界点再谈自建。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：推理成本

甲方根本不关心你用哪个模型 一个残酷但真实的事实：当企业真的要花钱采购 AI 方案时，决策的起点几乎从来不是「哪个模型最强」。甲方要解决的是具体问题——客服成本太高、报表整理太慢、新员工培训周期太长。他们要的是「这个问题能不能被解决、多久见效、花多少钱」，而不是你底层接的是 DeepSeek 还是通义、参数有多大。这也是 2026 年模型能力趋同之后，竞争焦点转向「卖服务」的根本原因：模型越来越像水电，企业买的是装完水电之后能用的那间房子。 一张采购决策清单 真正能促成企业买单的，是这几件事能否被说清楚： 第一，能不能接进现有系统 你的 AI 方案能不能打通企业已有的 CRM、工单系统、数据库？能不能通过 MCP 这类标准协议调用内部工具？越是能无缝嵌入现有工作流，采购阻力越小。需要企业推倒重来的方案，再先进也难落地。 第二，账算不算得过来 企业一定会问：这套系统一年省几个人力、提多少效，和它的年费比划不划算。2026 年大模型 API 已经便宜到几毛钱每百万 token，这让 AI 项目的单位经济模型第一次算得过来——这是企业敢采购的大前提。 第三，合规与数据安全 企业的数据敢不敢喂给你？你调用的模型有没有完成备案？数据出不出域？有没有审计和权限控制？截至 2026 年 8 月底全国已有上千款生成式服务完成备案，合规资质正在成为企业采购的硬门槛，而不是加分项。 第四，能不能兜底 AI 会出错，企业最担心的是出错了谁负责。有没有人工兜底机制、有没有 SLA、出了问题多久响应——这些「不性感」的条款，往往比模型性能更能决定合同签不签。 对乙方的启示 做 To B AI 生意，别再把精力全花在炫模型性能上。把功夫下在系统集成、合规资质、交付兜底和 ROI 测算上，才是真正的胜负手。企业买的从来不是 AI 技术，而是一个能解决具体问题、风险可控、账算得过来的确定性方案。 收束 企业采购 AI 的逻辑，正在从「追新技术」转向「算真账」。模型是地板上的基础设施，真正值钱的是铺在上面的那层工作流、合规和服务。谁能把这层铺得让甲方放心，谁才能在这门 B 端生意里真正收到钱。 去论坛讨论 关于「企业采购AI」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

引言 “用开源还是商业模型？“这是每个AI应用开发者在项目初期都会面临的核心决策。2026年，开源模型与商业模型之间的差距已经大幅缩小，但在某些关键维度上仍有显著差异。本文将提供一个系统化的决策框架，帮助你做出明智选择。 当前格局 商业模型第一梯队 GPT-5 (OpenAI) — 综合能力最强 Claude 4 Opus (Anthropic) — 推理和安全最佳 Gemini 2.5 Ultra (Google) — 多模态和长上下文领先 开源模型第一梯队 DeepSeek-V4 (671B MoE) — 综合能力最强的开源模型 GLM-5 (智谱AI) — 中文能力最佳 Llama 4 405B (Meta) — 生态最成熟 Qwen 3 235B (阿里) — 性价比最高 维度一：能力上限 综合智能 商业模型在综合智能上仍有一定优势。在MMLU-Pro上，GPT-5得分91.3%，而最好的开源模型DeepSeek-V4为85.8%，差距约5个百分点。但在具体任务上，这个差距可能更小。 复杂推理 在GPQA Diamond等高难度推理基准上，Claude 4 Opus的78.4%远超开源最佳的68.5%。对于需要深度科学推理的场景，商业模型仍有明显优势。 代码生成 SWE-Bench Verified上，GPT-5的71.2%对比DeepSeek-V4的58.9%，差距约12个百分点。复杂软件工程任务上商业模型领先较多。 多模态 Gemini 2.5 Ultra在多模态理解上遥遥领先，开源模型在这一领域仍有较大差距。 结论：如果你的任务需要顶级能力（复杂推理、高级编程、多模态理解），商业模型仍是首选。 维度二：成本 API调用成本 以处理100万token为例： 模型类型 输入成本 输出成本 GPT-5 $10 $40 Claude 4 Opus $15 $75 Gemini 2.5 Ultra $7 $21 DeepSeek-V4 (API) $0.27 $1.1 GLM-5 (API) $0.5 $2.0 开源模型的API价格通常是商业模型的1/10到1/50。 ...

核心差异：外部知识 vs 内化知识 RAG 和微调本质上是两种不同的知识注入方式。RAG 通过检索外部知识库为模型提供上下文，模型在推理时"查阅资料"回答问题；微调则通过梯度更新将知识"内化"到模型参数中。 # RAG：推理时检索 def rag_inference(query): docs = vector_store.search(query, k=5) prompt = f"基于以下文档回答：\n{docs}\n\n问题：{query}" return llm.generate(prompt) # 微调：知识已内化在参数中 def finetuned_inference(query): return finetuned_llm.generate(query) # 无需外部检索 RAG 的核心优势 1. 实时性 RAG 的知识库可以实时更新。当文档变更时，只需更新向量数据库，无需重新训练模型： # 知识更新：只需重新嵌入文档 new_doc = load_document("updated_policy.pdf") embedding = embed_model.encode(new_doc) vector_store.upsert(embedding, metadata={"source": "policy_v2"}) # 微调更新知识：需要重新训练 # 数据准备 → 训练 → 评估 → 部署（数小时到数天） 2. 可追溯性 RAG 的每个回答都能追溯到具体文档来源，这对企业合规和审计至关重要： response = rag_pipeline.query("公司的退款政策是什么？") print(response.answer) # "退款政策规定..." print(response.sources) # [{"doc": "policy.pdf", "page": 3, "score": 0.92}] 3. 低成本 维度 RAG 微调 初始成本 向量数据库 + 嵌入模型 GPU 训练 + 数据标注 更新成本 重新嵌入变更文档 重新训练（全量或增量） 推理成本 增加检索延迟 + Token 消耗 与基座模型持平 人力成本 文档维护 数据工程 + 训练调优 微调的核心优势 1. 风格与格式控制 微调能改变模型的输出风格、语气和格式，RAG 做不到这点： ...