容器化

为什么选择 Kubernetes 部署 AI 智能体 AI 智能体在生产环境中面临着独特的工程挑战：GPU 资源稀缺且昂贵、推理延迟敏感、长连接支持需求、多组件协同编排。Kubernetes 作为成熟的容器编排平台，提供了 GPU 调度、弹性伸缩、服务发现和滚动更新等核心能力，是当前部署 AI 智能体的最佳基础设施选择。 但将智能体从原型推向生产级 Kubernetes 部署，远非"写个 Dockerfile 然后 kubectl apply"那么简单。本文将覆盖从容器镜像构建到生产运维的全链路实践。 容器化：构建智能体镜像 镜像分层策略 智能体的依赖通常包含三类：系统级依赖（CUDA、系统库）、Python 运行时依赖（PyTorch、Transformers）和应用代码。合理的镜像分层可以大幅提升构建效率和部署速度。 # === 基础层：CUDA + Python === FROM nvidia/cuda:12.4.1-runtime-ubuntu22.04 ENV PYTHON_VERSION=3.11 ENV DEBIAN_FRONTEND=noninteractive RUN apt-get update && apt-get install -y \ python${PYTHON_VERSION} python${PYTHON_VERSION}-dev python${PYTHON_VERSION}-venv \ && ln -sf /usr/bin/python${PYTHON_VERSION} /usr/bin/python \ && ln -sf /usr/bin/python${PYTHON_VERSION} /usr/bin/python3 # === 依赖层：PyTorch + Transformers === RUN pip install --no-cache-dir \ torch==2.4.0 \ transformers==4.45.0 \ accelerate==0.34.0 \ vllm==0.6.0 # === 应用层：智能体代码 === WORKDIR /app COPY requirements-agent.txt . RUN pip install --no-cache-dir -r requirements-agent.txt COPY . /app # 运行时配置 ENV MODEL_CACHE_DIR=/models ENV TRANSFORMERS_CACHE=/models/hf EXPOSE 8080 HEALTHCHECK --interval=30s --timeout=10s --retries=3 \ CMD curl -f http://localhost:8080/health || exit 1 CMD ["python", "-m", "agent.server", "--host", "0.0.0.0", "--port", "8080"] 镜像优化要点 1. 模型权重分离：不要将模型权重打包进镜像。模型文件动辄数十 GB，打包进镜像会导致镜像过大、拉取缓慢。应使用持久卷（PV）或对象存储单独管理模型权重。 ...