迁移

原型 vs 生产：到底差在哪 在 ChatGPT 界面里跑通一个 demo，和生产环境服务千万用户，中间隔着一条鸿沟。原型阶段你不需要关心的事情，在生产中每一个都会变成事故： 维度 原型阶段 生产阶段 延迟 手动等待，几秒可接受 P99 < 3s，超时降级 可用性 失败就重试 99.9% SLA，多活容灾 成本 不关心 每月 API 账单可预测 安全 Prompt 直接硬编码 密钥管理、输入消毒、输出过滤 可观测性 print 大法 结构化日志、指标、链路追踪 一致性 每次回答不同 温度控制、缓存、确定性输出 核心认知：原型验证的是"能不能做"，生产回答的是"能不能稳定做、能不能赚钱做、能不能安全做"。 API 选型：不只是选个模型 模型选择决策树 def choose_model(task: str, latency_req: float, budget: float) -> str: if task in ["简单分类", "抽取"] and latency_req < 0.5: return "gpt-4o-mini" # 快且便宜 if task in ["复杂推理", "代码生成"] and budget > 0.05: return "gpt-4o" # 能力优先 if task in ["长文档总结"] and budget < 0.02: return "gpt-4o-mini" # 上下文够长，成本可控 return "gpt-4o-mini" # 默认保守 成本估算公式 单次调用成本 = (input_tokens × input_price) + (output_tokens × output_price) 月度预算 = 日均调用量 × 平均(input_tokens + output_tokens) × 30 × 单价 # GPT-4o (2026 pricing) # Input: $2.50 / 1M tokens # Output: $10.00 / 1M tokens # 一个典型客服对话: ~500 input + ~200 output # 单次成本 ≈ $0.00325 # 日均 10000 次 → 月成本 ≈ $975 多模型路由策略 生产环境不要只用一个模型。根据请求复杂度路由到不同模型： ...