水平扩展

引言 Agent系统的扩展性挑战与传统Web应用截然不同。LLM推理是GPU密集型操作，工具执行可能是CPU或IO密集型，而向量检索则是内存密集型。这意味着简单的"加机器"策略无法有效解决Agent系统的扩展问题。 2026年，K8s + GPU Operator已成为Agent系统部署的事实标准，但如何高效利用集群资源仍然是工程团队面临的核心挑战。 扩展维度分析 Agent系统需要在多个维度上独立扩展： ┌─────────────────────────────────────────────────────────┐ │ Agent系统扩展维度 │ ├─────────────┬──────────────┬──────────────┬────────────┤ │ 并发会话数 │ 推理吞吐量 │ 工具执行并发 │ 记忆检索延迟│ │ (CPU/Mem) │ (GPU) │ (CPU/IO) │ (RAM/SSD) │ ├─────────────┼──────────────┼──────────────┼────────────┤ │ 水平扩展 │ GPU水平扩展 │ 水平扩展 │ 分片+副本 │ │ +Stateless │ +模型并行 │ +无状态 │ +读副本 │ └─────────────┴──────────────┴──────────────┴────────────┘ 从单机到集群的演进路径 Phase 1：单机优化 在扩展之前，先榨干单机性能： import asyncio import uvicorn from concurrent.futures import ThreadPoolExecutor class SingleNodeAgent: """单机Agent——最大化单节点利用率""" def __init__(self): # CPU密集型任务（工具执行） self.cpu_pool = ThreadPoolExecutor( max_workers=8, thread_name_prefix="tool-exec" ) # IO密集型任务（网络请求） self.io_pool = ThreadPoolExecutor( max_workers=32, thread_name_prefix="io-op" ) # LLM推理使用GPU，通过信号量控制并发 self.llm_semaphore = asyncio.Semaphore(4) async def process_request(self, user_input: str) -> str: # 并行执行独立任务 memory_task = asyncio.create_task(self._retrieve_memory(user_input)) tool_task = asyncio.create_task(self._execute_tools(user_input)) memory = await memory_task tool_results = await tool_task # LLM推理（GPU受限） async with self.llm_semaphore: response = await self._llm_inference(user_input, memory, tool_results) return response Phase 2：水平拆分 将不同负载特征的服务拆分到不同节点： ...