Google Gemma 模型指南：轻量级开源选择

Gemma 1 (2024.02)       Gemma 2 (2024.06)       Gemma 3 (2025.03)
┌──────────────┐        ┌──────────────┐        ┌──────────────┐
│ 2B / 7B      │        │ 2B / 9B / 27B│        │ 1B / 4B      │
│ 文本 only    │───→    │ 文本 only    │───→    │ 12B / 27B    │
│ 8K 上下文    │        │ 8K 上下文    │        │ 多模态(视觉) │
│ Gemma 许可   │        │ GQA 引入     │        │ 128K 上下文  │
└──────────────┘        └──────────────┘        └──────────────┘

# Gemma 3 多模态前向传播示意
class Gemma3Multimodal(nn.Module):
    def __init__(self, text_model, vision_encoder):
        self.text_model = text_model
        self.vision_encoder = vision_encoder  # SigLIP-L/16
        self.mm_projector = nn.Sequential(
            nn.Linear(vision_dim, text_dim),
            nn.GELU(),
            nn.Linear(text_dim, text_dim)
        )

    def forward(self, images, input_ids):
        # 1. 视觉编码
        image_features = self.vision_encoder(images)
        # 2. 投影到文本空间
        image_embeds = self.mm_projector(image_features)
        # 3. 替换 <image> 占位符 token
        text_embeds = self.text_model.embed_tokens(input_ids)
        # 将 image_embeds 插入到占位符位置
        final_embeds = merge_embeddings(text_embeds, image_embeds, input_ids)
        # 4. 文本模型处理
        return self.text_model(inputs_embeds=final_embeds)

# 1B 模型（手机/树莓派级别）
ollama run gemma3:1b

# 4B 模型（消费级 GPU）
ollama run gemma3:4b

# 12B 模型（高端 GPU）
ollama run gemma3:12b

# 27B 模型（工作站）
ollama run gemma3:27b

python -m vllm.entrypoints.openai.api_server \
  --model google/gemma-3-27b-it \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.9 \
  --max-model-len 131072 \
  --trust-remote-code \
  --port 8000

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "google/gemma-3-4b-it"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 多模态推理
from PIL import Image
image = Image.open("chart.png")

inputs = tokenizer(
    text="描述这张图片的内容",
    images=image,
    return_tensors="pt"
).to(model.device)

output = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(output[0], skip_special_tokens=True))

# 使用 MLC LLM 在手机上部署 Gemma 3 1B
# Android 示例
from mlc_llm import MLCEngine

engine = MLCEngine(
    model="gemma-3-1b-q4f16-1",
    model_lib="path/to/gemma-3-1b-q4f16-1-android.so"
)
response = engine.chat.completions.create(
    messages=[{"role": "user", "content": "你好"}]
)