Ollama

Ollama 架构概览 Ollama 是一个轻量级的本地 LLM 运行时，核心用 Go 编写，底层调用 llama.cpp 进行推理。其架构分为三层： CLI 层：ollama run、ollama pull 等命令，通过 Unix Socket / TCP 与服务端通信 Server 层：HTTP REST API（默认 :11434），管理模型生命周期、请求队列、并发控制 Runtime 层：基于 llama.cpp 的 GGML 后端，支持 CPU / GPU 混合推理 ┌──────────┐ HTTP API ┌──────────────┐ llama.cpp ┌─────────┐ │ CLI / │ ──────────→ │ Ollama │ ───────────→ │ GGML │ │ Client │ │ Server │ │ Backend│ └──────────┘ │ (:11434) │ │ (CPU/ │ └──────────────┘ │ GPU) │ └─────────┘ 关键设计决策 Ollama 将模型权重、推理引擎、API 服务打包为单一二进制，降低了部署复杂度。但这也意味着你在生产环境中需要关注以下限制： ...

为什么选 Open WebUI Open WebUI（原 Ollama WebUI）是最成熟的开源 LLM 前端，Star 数超过 80k。核心优势： ChatGPT 级交互体验：流式输出、Markdown 渲染、代码高亮、文件上传 多模型支持：通过 Ollama 或 OpenAI 兼容 API 接入任意模型 内置 RAG：上传文档自动切片、嵌入、检索，无需额外搭建 多用户管理：RBAC 权限、API Key 管理、使用统计 插件生态：函数调用、工具集成、自定义 Pipeline Docker 部署 单机部署（推荐） docker run -d \ --name open-webui \ --restart always \ -p 3000:8080 \ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \ -v open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main 访问 http://localhost:3000，第一个注册的用户自动成为管理员。 Docker Compose 完整方案 version: '3.8' services: ollama: image: ollama/ollama:latest container_name: ollama restart: always ports: - "11434:11434" volumes: - ollama-data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always ports: - "3000:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 - ENABLE_RAG=true - RAG_EMBEDDING_ENGINE=ollama - RAG_EMBEDDING_MODEL=nomic-embed-text - CHUNK_SIZE=512 - CHUNK_OVERLAP=64 - ENABLE_SIGNUP=true volumes: - open-webui-data:/app/backend/data depends_on: - ollama volumes: ollama-data: open-webui-data: 启动：docker compose up -d ...