本地部署

为什么选 Open WebUI Open WebUI（原 Ollama WebUI）是最成熟的开源 LLM 前端，Star 数超过 80k。核心优势： ChatGPT 级交互体验：流式输出、Markdown 渲染、代码高亮、文件上传 多模型支持：通过 Ollama 或 OpenAI 兼容 API 接入任意模型 内置 RAG：上传文档自动切片、嵌入、检索，无需额外搭建 多用户管理：RBAC 权限、API Key 管理、使用统计 插件生态：函数调用、工具集成、自定义 Pipeline Docker 部署 单机部署（推荐） docker run -d \ --name open-webui \ --restart always \ -p 3000:8080 \ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \ -v open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main 访问 http://localhost:3000，第一个注册的用户自动成为管理员。 Docker Compose 完整方案 version: '3.8' services: ollama: image: ollama/ollama:latest container_name: ollama restart: always ports: - "11434:11434" volumes: - ollama-data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always ports: - "3000:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 - ENABLE_RAG=true - RAG_EMBEDDING_ENGINE=ollama - RAG_EMBEDDING_MODEL=nomic-embed-text - CHUNK_SIZE=512 - CHUNK_OVERLAP=64 - ENABLE_SIGNUP=true volumes: - open-webui-data:/app/backend/data depends_on: - ollama volumes: ollama-data: open-webui-data: 启动：docker compose up -d ...

为什么关注小模型 GPT-5、Claude 4 很强，但每次调用 $0.03-0.15。如果日均 10,000 次请求，月成本 $9,000-45,000。而一个 7B 模型跑在自己的服务器上，月成本 $200（一台 GPU 服务器）。 更重要的是：数据不出内网，零延迟，无限调用。 2026 主流小模型一览 模型 参数量 上下文 中文能力 许可证 Qwen3-7B 7B 128K ★★★★★ Apache 2.0 Llama-3.3-8B 8B 128K ★★★☆ Llama License DeepSeek-V3-Lite 12B 64K ★★★★ MIT Mistral-7B-v0.4 7B 32K ★★☆ Apache 2.0 Gemma-3-9B 9B 128K ★★★☆ Gemma License Yi-1.5-9B 9B 32K ★★★★ Apache 2.0 实测：Agent 任务表现 测试集设计 我们设计了 100 个 Agent 任务，分为 5 类： 信息提取（20题）：从文本中提取结构化信息 多轮对话（20题）：5-10 轮上下文的对话 工具调用（20题）：Function Calling 准确率 推理任务（20题）：多步逻辑推理 代码生成（20题）：Python 函数编写 测试结果 模型 信息提取 多轮对话 工具调用 推理任务 代码生成 总分 Qwen3-7B 95% 88% 82% 75% 78% 83.6% Llama-3.3-8B 90% 85% 78% 72% 82% 81.4% DeepSeek-V3-Lite 92% 86% 80% 78% 85% 84.2% Mistral-7B 85% 80% 70% 65% 75% 75.0% GPT-4o-mini 96% 92% 90% 85% 88% 90.2% 关键发现： ...