AI 团队搭建指南：从 3 人到 30 人的组织演进

┌─────────────────────────────────┐
│   AI 全栈工程师（2 人）          │
│   • Prompt 工程                 │
│   • RAG 搭建                   │
│   • 模型调用集成                │
│   • 简单评估体系                │
├─────────────────────────────────┤
│   PM/业务专家（1 人）            │
│   • 需求定义                   │
│   • Prompt 质量把关             │
│   • 用户反馈收集               │
│   • 评测集构建                 │
└─────────────────────────────────┘

# 阶段一的典型代码：快速验证，不考虑架构
def chat(user_input, history):
    # 直接调用 API，无抽象
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": user_input}]
    )
    return response.choices[0].message.content

# 问题：
# 1. 无 Prompt 版本管理
# 2. 无成本追踪
# 3. 无评估体系
# 4. 无监控
# → 能跑就行，但要清楚这是技术债

O: 验证 AI 功能的产品市场契合度
  KR1: 完成 3 个核心场景的端到端 Demo
  KR2: 用户满意度达到 4.0/5.0
  KR3: 单次对话成本 < $0.05
  KR4: 收集 200 条高质量用户反馈

                    CTO/技术负责人
                         │
           ┌─────────────┼─────────────┐
           │             │             │
     AI 研究工程师    后端工程师    前端工程师
     (2 人)          (2 人)       (1 人)
                         │
                    DevOps (1 人)
                         │
                    PM (1 人)
                         │
                    数据标注 (1 人)

核心职责：
  • 模型选型与评测
  • Prompt 工程化（版本管理、A/B 测试）
  • RAG 系统优化
  • 微调实验
  • 新模型快速调研（每月 1-2 个新模型）

技能要求：
  • 扎实的 NLP 基础（Transformer、Attention 机制）
  • 熟练使用 PyTorch / Transformers
  • 有 RAG / 微调实战经验
  • 能快速阅读论文并实现核心思路

面试题目：
  1. 手写 Attention 机制代码
  2. 现场优化一个 RAG 系统的召回率
  3. 设计一个 Prompt A/B 测试方案

核心职责：
  • API 服务开发（FastAPI / Flask）
  • 模型服务部署（vLLM / TGI）
  • 数据库设计（对话历史、用户反馈）
  • 第三方集成（支付、通知、CRM）

技能要求：
  • Python 后端框架经验
  • 异步编程（asyncio）
  • 数据库设计（PostgreSQL + Redis）
  • 容器化部署（Docker / K8s）

注意：这个阶段不需要 K8s 专家，Docker Compose 够用

核心职责：
  • 构建和维护评测数据集
  • 标注用户反馈（意图分类、质量评分）
  • 协助 PM 定义质量标准
  • 管理外部标注团队（如有）

为什么需要专门的人：
  • 高质量评测数据是 AI 产品的核心竞争力
  • 标注质量直接影响模型效果评估
  • 可以释放工程师的时间

招聘标准：
  • 细心、耐心（标注是重复性工作）
  • 领域知识（懂业务比懂 AI 更重要）
  • 基本的数据处理能力（Excel / Python 基础）

# 阶段二：引入抽象层，开始积累工程化能力

class LLMService:
    """LLM 服务抽象层"""
    
    def __init__(self):
        self.router = ModelRouter()      # 新增：模型路由
        self.prompt_registry = PromptRegistry()  # 新增：Prompt 管理
        self.evaluator = Evaluator()     # 新增：评估体系
        self.cost_tracker = CostTracker() # 新增：成本追踪
    
    async def chat(self, user_input: str, user_id: str) -> str:
        # 1. 模型路由
        model_config = self.router.route(user_input)
        
        # 2. 加载 Prompt（版本化管理）
        prompt = self.prompt_registry.load("chatbot", version="latest")
        
        # 3. 构建消息
        messages = prompt.render(user_input)
        
        # 4. 调用（带成本追踪）
        with self.cost_tracker.track(model_config["model"]) as tracker:
            response = await self._call_llm(
                model=model_config["model"],
                messages=messages,
            )
        
        # 5. 异步评估
        asyncio.create_task(
            self.evaluator.evaluate_async(response, user_input)
        )
        
        return response

O: 将 AI 功能推向生产，服务 1000+ DAU
  KR1: API 可用性 > 99.5%
  KR2: P95 延迟 < 3 秒
  KR3: 单用户日成本 < $0.50
  KR4: 评测集覆盖 50+ 核心场景，通过率 > 90%
  KR5: 完成 3 轮 Prompt 迭代，满意度提升 > 15%

                     CTO
                      │
           ┌──────────┼──────────┐
           │          │          │
      AI 平台组    应用组    基础设施组
      (5 人)      (8 人)     (3 人)
           │          │          │
      ┌────┴────┐  ┌─┴──┐  ┌─┴────┐
      │         │  │    │  │      │
   研究工程师   ML  前端  后端 DevOps  数据
    (2)      工程师  (3)  (3)  (2)   工程师
              (2)

核心职责：
  • 训练/微调流水线建设
  • 评估框架开发
  • 模型监控（漂移检测、性能退化）
  • 数据版本管理（DVC / MLflow）

与 AI 研究工程师的区别：
  • 研究工程师：关注模型效果、Prompt 优化
  • ML 工程师：关注工程化、流水线、监控

技能要求：
  • MLOps 工具链（MLflow / Kubeflow / DVC）
  • 模型部署（TorchServe / vLLM / TGI）
  • 监控和可观测性（Prometheus / Grafana）
  • 数据工程基础（Spark / Pandas）

核心职责：
  • GPU 集群管理（K8s + GPU Operator）
  • CI/CD 流水线（含 AI 模型测试）
  • 监控告警体系
  • 成本优化（Spot 实例、资源调度）

AI 场景下的特殊要求：
  • 懂 GPU（NVIDIA DCGM、显存管理）
  • 大模型镜像大（优化镜像拉取）
  • 模型文件大（优化存储和传输）
  • 推理服务的自动扩缩容

# 阶段三：建设内部 AI 平台

class InternalAIPlatform:
    """
    内部 AI 平台：统一 LLM 调用、Prompt 管理、
    评估体系、监控告警
    """
    
    def __init__(self):
        self.model_registry = ModelRegistry()      # 模型注册中心
        self.prompt_registry = PromptRegistry()    # Prompt 版本管理
        self.eval_framework = EvalFramework()      # 评估框架
        self.monitor = MonitoringStack()           # 监控告警
        self.cost_optimizer = CostOptimizer()     # 成本优化
    
    def serve(self):
        """启动内部 AI 平台服务"""
        # 提供统一 API
        # /v1/chat        - 统一聊天接口
        # /v1/prompts     - Prompt 管理
        # /v1/eval        - 评估任务提交
        # /v1/metrics     - 监控指标查询
        pass

# 各业务组通过平台调用，无需各自维护 LLM 集成

O: 建立可扩展的 AI 能力平台，支撑多业务线
  KR1: 内部 AI 平台日调用量 > 100 万次
  KR2: 新业务接入 AI 能力的时间 < 1 周
  KR3: 平台可用性 > 99.9%
  KR4: 通过平台统一降低成本 30%（规模效应）
  KR5: 建立完整的模型评估体系，覆盖 10+ 业务场景

                     AI 负责人 (Head of AI)
                      │
        ┌─────────────┼─────────────┐
        │             │             │
    AI 研究部      AI 平台部    业务 AI 组
    (8 人)         (12 人)      (10 人)
        │             │             │
    ┌───┴───┐   ┌───┴───┐   ┌───┴───┐
    │       │   │       │   │       │
  研究   研究  平台   部署   业务   业务
  科学家 工程师 开发   工程   组1    组2
  (3)   (4)   (5)   (4)   (5)   (5)

核心职责：
  • 跟踪前沿研究（ArXiv 每周 10+ 篇）
  • 将研究成果转化为产品能力
  • 技术预研（6-12 个月的前沿技术）
  • 与合作高校/研究机构建立联系

招聘标准：
  • PhD 学历（CS / NLP / ML 方向）
  • 顶会论文发表记录（NeurIPS / ICML / ACL）
  • 工程实现能力（不只是"纸上谈兵"）
  • 技术判断力（能区分"炒作"和"真突破"）

面试流程：
  1. 论文讨论（深入讨论其发表论文或最近读的一篇论文）
  2. 系统设计（如何设计一个支持 10 万 QPS 的 RAG 系统）
  3. 代码实现（实现一个简化版的 Flash Attention）

核心职责：
  • 大规模模型部署（多区域、多模型）
  • GPU 资源调度优化
  • 模型量化与推理加速
  • SLO 保障（延迟、吞吐量、成本）

技能要求：
  • 深度理解 GPU 架构（Tensor Core、显存层次）
  • 推理框架源码阅读（vLLM / TensorRT-LLM）
  • 性能分析和调优（Nsight / PyTorch Profiler）
  • 成本优化（Spot 实例、模型混合部署）

# 阶段四：多租户 AI 平台

class MultiTenantAIPlatform:
    """
    多租户 AI 平台：
    - 统一资源池
    - 按业务线隔离
    - 成本分摊
    - 独立 SLO
    """
    
    def __init__(self):
        self.tenants: dict[str, TenantConfig] = {}
        self.resource_pool = GPUResourcePool()
        self.cost_allocator = CostAllocator()
    
    def register_tenant(self, name: str, config: TenantConfig):
        """注册新业务线"""
        # 分配资源配额
        self.resource_pool.allocate_quota(
            tenant=name,
            gpu_count=config.gpu_quota,
            max_qps=config.max_qps,
        )
        # 设置独立 SLO
        self.monitor.set_slo(name, config.slo_config)
        # 成本中心标记
        self.cost_allocator.register_cost_center(name)
    
    async def chat(self, tenant: str, request: ChatRequest) -> ChatResponse:
        """多租户聊天接口"""
        # 1. 配额检查
        if not self.resource_pool.check_quota(tenant):
            raise QuotaExceeded(f"Tenant {tenant} quota exceeded")
        
        # 2. 路由到租户专属模型/ Prompt
        model = self.tenants[tenant].get_model_for_request(request)
        
        # 3. 调用（带租户级监控）
        with self.monitor.track(tenant=tenant):
            response = await self._call_model(model, request)
        
        # 4. 成本分摊
        self.cost_allocator.record_cost(
            tenant=tenant,
            cost=self._calculate_cost(response),
        )
        
        return response

1. 实验优先（Experiment-First）
   • 任何新想法先做小实验验证
   • 失败是正常的，不实验才是问题
   • 实验记录要规范（Everyone has a Lab Notebook）

2. 快速学习（Rapid Learning）
   • 每周安排"论文分享会"（每人轮流分享 1 篇）
   • 鼓励参加顶会（NeurIPS / ACL / EMNLP）
   • 内部技术博客（知识沉淀）

3. 跨职能协作（Cross-Functional）
   • PM 要懂基本 Prompt 工程
   • 工程师要懂业务场景
   • 研究科学家要参与产品讨论

4. 数据驱动（Data-Driven）
   • 所有决策基于评测数据
   • A/B 测试是标准流程
   • 质疑"我觉得"式的决策

阶段一 (3人)          阶段二 (8人)          阶段三 (18人)         阶段四 (35人)
─────────────       ─────────────       ──────────────       ─────────────
OpenAI API          + vLLM 本地部署      + 多模型路由         + 自研模型微调
Prompt in code      + Prompt 版本管理     + A/B 测试框架       + 自动化评估流水线
手动测试            + 评测集             + 监控告警           + 完整可观测性
单机部署            + Docker Compose     + K8s               + 多区域部署
No versioning       + Git                + MLflow             + 模型注册中心
Excel 记录成本      + 简单成本追踪       + 成本分摊系统        + FinOps 平台