Ollama 生态全景：本地大模型运行的最佳实践

┌──────────────────────────────────────────────────────┐
│                    Ollama CLI / API                   │
├──────────────────────────────────────────────────────┤
│              REST API (OpenAI 兼容)  :11434          │
├──────────────────────────────────────────────────────┤
│                    Ollama Server                      │
│  ┌──────────┐  ┌──────────┐  ┌──────────────────────┐│
│  │ Model    │  │ Context  │  │  Inference Engine    ││
│  │ Loader   │  │ Manager  │  │  (llama.cpp / CUDA)  ││
│  └──────────┘  └──────────┘  └──────────────────────┘│
├──────────────────────────────────────────────────────┤
│           Hardware Layer (CPU / CUDA / Metal)        │
└──────────────────────────────────────────────────────┘

winget install Ollama.Ollama
# 或手动下载：https://ollama.com/download

curl -fsSL https://ollama.com/install.sh | sh

# 设置模型存储路径（默认 ~/.ollama/models）
export OLLAMA_MODELS=/mnt/data/ollama/models

# 设置上下文窗口大小（默认 2048）
export OLLAMA_NUM_PARALLEL=4

# 设置 GPU 配置（自动检测）
export OLLAMA_GPU_OVERHEAD=0

# 允许跨域访问（开发环境）
export OLLAMA_ORIGINS="*"

# 拉取模型
ollama pull llama3.3
ollama pull llava:7b
ollama pull nomic-embed-text

# 查看已下载模型
ollama list

# 运行模型（交互模式）
ollama run llama3.3

# 非交互模式：单次推理
ollama run llama3.3 "用 Python 写一个快速排序"

# Modelfile 示例：创建一个 RAG 专用的 Llama3

# 基础模型
FROM llama3.3

# 设置系统提示词
SYSTEM """
你是一个专业的 RAG 助手。根据提供的上下文片段，
准确、简洁地回答用户问题。如果上下文中没有
相关信息，请明确告知。
"""

# 设置参数
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 8192
PARAMETER repeat_penalty 1.1

# 设置模板（用于 RAG 场景）
TEMPLATE """
<s>[INST] <<SYS>>
{{ .System }}
<</SYS>>

已知信息：
{{ .Prompt }}

请基于已知信息回答问题。[/INST]
"""

# 从 Modelfile 创建自定义模型
ollama create rag-assistant -f Modelfile

# 运行自定义模型
ollama run rag-assistant

from openai import OpenAI

# 直接替换 OpenAI 的 base_url
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # Ollama 不需要真实 API key
)

response = client.chat.completions.create(
    model="llama3.3",  # 使用本地模型
    messages=[
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "解释什么是 RAG"},
    ],
    temperature=0.7,
    max_tokens=500,
)

print(response.choices[0].message.content)

# 聊天完成
curl -X POST http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.3",
    "messages": [
      {"role": "user", "content": "你好"}
    ],
    "stream": false
  }'

# 生成补全
curl -X POST http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.3",
    "prompt": "写一个 Python 的 Hello World",
    "stream": false
  }'

# 嵌入向量
curl -X POST http://localhost:11434/api/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nomic-embed-text",
    "prompt": "要嵌入的文本内容"
  }'

from langchain_ollama import ChatOllama, OllamaEmbeddings
from langchain_community.vectorstores import Chroma

# 配置 LLM
llm = ChatOllama(
    model="llama3.3",
    temperature=0.3,
    base_url="http://localhost:11434",
)

# 配置嵌入
embeddings = OllamaEmbeddings(
    model="nomic-embed-text",
    base_url="http://localhost:11434",
)

# 构建向量存储
vectorstore = Chroma(
    client=Chroma(persist_directory="./chroma_db")),
    embedding_function=embeddings,
)

from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core import Settings

# 配置 LLM
Settings.llm = Ollama(
    model="llama3.3",
    base_url="http://localhost:11434",
    request_timeout=120,
)

# 配置嵌入
Settings.embed_model = OllamaEmbedding(
    model_name="nomic-embed-text",
    base_url="http://localhost:11434",
)

# 构建 RAG 索引
documents = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()

# 查看 GPU 状态
ollama show llama3.3

# 手动指定 GPU layers
OLLAMA_GPU_OVERHEAD=0 ollama run llama3.3

# 运行特定量化版本
ollama run llama3.3:Q5_1

# 设置并发请求数
export OLLAMA_NUM_PARALLEL=4

# 设置上下文缓存大小
export OLLAMA_MAX_LOADED_MODELS=2

# 安装 Open WebUI
pip install open-webui

# 启动（会自动连接本地 Ollama）
open-webui serve

# docker-compose.yml
version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  ollama_data:

docker compose up -d
docker exec -it ollama ollama pull llama3.3

apiVersion: v1
kind: ConfigMap
metadata:
  name: ollama-model-config
data:
  MODELS: "llama3.3,codellama,llava"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ollama-server
spec:
  replicas: 3
  template:
    spec:
      containers:
      - name: ollama
        image: ollama/ollama:latest
        resources:
          limits:
            nvidia.com/gpu: 1

# 调试模式
OLLAMA_DEBUG=1 ollama run llama3.3

# 查看日志
journalctl -u ollama -f