大模型API经济学：成本优化策略与模型路由

成本 = 输入tokens × 输入单价 + 输出tokens × 输出单价

以GPT-4o为例(2026年价格):
  输入: $2.5/1M tokens
  输出: $10/1M tokens

单次对话(输入500, 输出300):
  = 500×2.5/1M + 300×10/1M
  = $0.00125 + $0.003
  = $0.00425/次

def route_model(query, budget_tracker):
    complexity = classify_complexity(query)
    
    if complexity == "simple":
        # 简单问答、格式转换 → 小模型
        return "qwen-2-7b"  # $0.0005/次
    
    elif complexity == "medium":
        # 中等推理、分析 → 中等模型
        return "deepseek-v4"  # $0.002/次
    
    elif complexity == "complex":
        # 复杂推理、创意 → 大模型
        return "gpt-4o"  # $0.004/次
    
    elif complexity == "expert":
        # 极高难度 → 最强模型
        return "o3"  # $0.02/次

def classify_complexity(query):
    # 规则1: 长度
    if len(query) < 20:
        return "simple"
    
    # 规则2: 关键词
    if any(kw in query for kw in ["分析", "对比", "推理", "证明"]):
        return "medium"
    
    if any(kw in query for kw in ["架构设计", "策略制定", "深度分析"]):
        return "complex"
    
    # 规则3: 用小模型分类
    return small_model.classify(query)

def cascade(query):
    # 先用小模型尝试
    result = small_model.generate(query)
    
    # 评估结果质量
    if confidence(result) > threshold:
        return result  # 小模型够用
    
    # 不够好，用大模型
    return large_model.generate(query)

原始系统Prompt (2000 tokens):
"你是一个专业的客服助手。你的职责是帮助用户解决订单相关问题。
你需要遵循以下规则：
1. 始终保持礼貌和耐心
2. 如果用户的问题超出你的能力范围，转接人工
3. 不要透露内部系统信息
..."

精简后 (500 tokens):
"你是客服助手。规则：礼貌、保密、转人工处理超范围问题。"

cache = Redis()

def cached_generate(prompt, model="gpt-4o"):
    cache_key = f"{model}:{hash(prompt)}"
    
    if cached := cache.get(cache_key):
        return cached
    
    result = llm.generate(prompt, model)
    cache.set(cache_key, result, ttl=3600)
    return result

def semantic_cache_generate(query):
    # 向量化query
    query_embedding = embed(query)
    
    # 搜索相似query
    similar = vector_db.search(query_embedding, threshold=0.95)
    
    if similar:
        return similar.answer
    
    # 未命中，调用LLM
    answer = llm.generate(query)
    
    # 存入缓存
    vector_db.add(query_embedding, answer)
    return answer

# 不好的做法：5次API调用
for question in questions:
    answer = llm.generate(question)  # 5次调用

# 好的做法：1次API调用
combined = f"回答以下问题，每个问题用编号标注:\n"
for i, q in enumerate(questions):
    combined += f"{i}. {q}\n"
answers = llm.generate(combined)  # 1次调用

路由策略:
- 高频简单任务 → 自部署小模型 (固定成本)
- 低频复杂任务 → API调用大模型 (按需付费)

成本模型:
  自部署: 固定成本$2000/月 (GPU租用)
  API: 变动成本 ~$0.002/次

  当月请求量 > 100万次时:
    全API: $2000+
    混合: $2000 (自部署) + $200 (复杂任务API) = $2200
    优势不明显

  当月请求量 > 500万次时:
    全API: $10000+
    混合: $2000 + $1000 = $3000
    节省70%

class CostMonitor:
    def __init__(self, budget_monthly):
        self.budget = budget_monthly
        self.spent = 0
    
    def record(self, cost):
        self.spent += cost
        if self.spent > self.budget * 0.8:
            alert("已达月预算80%")
        if self.spent > self.budget * 0.95:
            alert("接近月预算，切换到降级模式")
    
    def get_stats(self):
        return {
            "spent": self.spent,
            "budget": self.budget,
            "remaining": self.budget - self.spent,
            "daily_avg": self.spent / day_of_month
        }