引言

Google在2026年2月发布了Gemma 3系列，这是其轻量级开源模型Gemma的第三代产品。Gemma系列一直定位为"可商用的轻量级模型"，面向端侧部署和本地运行场景。Gemma 3相比前代在性能、效率和生态上都有显著提升。本文将全面评测Gemma 3系列，特别是其在端侧设备上的表现。

产品线概览

Gemma 3系列包含5个规格：

模型 参数量 上下文 精度 定位
Gemma 3 27B 27B 128K FP16/INT8/INT4 桌面级旗舰
Gemma 3 12B 12B 128K FP16/INT8/INT4 笔记本主力
Gemma 3 7B 7B 64K FP16/INT8/INT4 通用端侧
Gemma 3 4B 4B 32K INT8/INT4 移动端
Gemma 3 1B 1B 8K INT4 IoT/嵌入式

核心架构

Gemma 3基于Google最新的Gemma 3架构改进：

  • Transformer变体：采用Sliding Window Attention + Global Attention混合机制
  • RoPE位置编码：支持长上下文外推
  • 分组查询注意力：减少推理计算量
  • INT4/INT8量化：原生支持多种精度

基准测试

Gemma 3 27B（端侧旗舰）

基准 Gemma 3 27B Llama 4 70B Qwen3.5 72B Mistral Large 3
MMLU-Pro 74.5% 76.2% 78.5% 75.8%
HumanEval+ 82.5% 84.5% 87.2% 83.1%
GPQA Diamond 48.3% 55.1% 58.3% 52.7%
BBH 80.2% 82.1% 84.5% 82.3%

Gemma 3 27B的性能接近Llama 4 70B和Qwen3.5 72B，但参数量仅为后者的1/3左右。这体现了Google在模型效率上的深厚功力。

端侧模型对比

7B级别对比：

基准 Gemma 3 7B Qwen3.5 7B Llama 4 8B Phi-4 14B
MMLU-Pro 60.1% 65.2% 62.5% 58.3%
HumanEval+ 70.2% 78.5% 72.5% 68.5%
GPQA Diamond 35.8% 42.1% 38.2% 32.5%
C-Eval 62.5% 72.8% 55.2% 48.3%

在7B级别中，Qwen3.5 7B在大多数基准上领先，但Gemma 3 7B在Google的优化下表现依然不错。

3B级别对比：

基准 Gemma 3 4B Phi-4 Mini 3.8B Qwen3.5 3B
MMLU-Pro 52.3% 55.2% 62.3%
HumanEval+ 58.5% 62.1% 75.5%
ARC-C 68.2% 72.5% 75.8%

4B级别的Gemma 3与Phi-4 Mini表现接近，Qwen3.5 3B在中文场景优势明显。

端侧部署性能

手机端测试

我们在多款主流手机上测试了Gemma 3的部署性能：

设备：小米14 Pro（骁龙8 Gen 4）

模型 精度 模型大小 首次推理 生成速度
Gemma 3 1B INT4 0.6GB 0.3s 65 tok/s
Gemma 3 4B INT4 2.5GB 1.2s 28 tok/s
Gemma 3 4B INT8 4.8GB 1.8s 18 tok/s
Gemma 3 7B INT4 4.3GB 2.5s 12 tok/s

7B模型在手机上的表现相当有限，建议使用4B及以下版本。

设备：iPhone 16 Pro（A18 Pro）

模型 精度 模型大小 首次推理 生成速度
Gemma 3 1B INT4 0.6GB 0.2s 85 tok/s
Gemma 3 4B INT4 2.5GB 1.0s 35 tok/s
Gemma 3 4B INT8 4.8GB 1.5s 22 tok/s

Apple Neural Engine对INT4推理有良好支持，iOS端表现优于Android。

笔记本/台式机测试

设备：MacBook Pro M4 Max（128GB RAM）

模型 精度 内存占用 生成速度
Gemma 3 12B INT4 7.5GB 95 tok/s
Gemma 3 12B INT8 14GB 65 tok/s
Gemma 3 27B INT4 17GB 45 tok/s
Gemma 3 27B INT8 32GB 28 tok/s

MacBook Pro可以流畅运行27B INT4量化版本，这是目前消费级硬件上可运行的最大Gemma模型。

边缘设备测试

设备：NVIDIA Jetson AGX Orin（64GB）

模型 精度 功耗 生成速度
Gemma 3 7B INT4 25W 42 tok/s
Gemma 3 12B INT4 35W 28 tok/s

Jetson AGX Orin适合需要低功耗持续运行的边缘AI场景。

Google生态整合

Gemma 3的重要优势之一是与Google生态的深度整合：

1. Google AI Studio

  • 原生支持Gemma 3的快速测试和部署
  • 一键部署到Google Cloud Vertex AI
  • 内置提示工程和微调工具

2. Vertex AI部署

企业用户可以通过Vertex AI快速部署Gemma 3：

  • 自动扩缩容
  • 内置安全过滤
  • 监控和日志集成
  • 按使用量计费

3. Kaggle集成

Kaggle Notebooks原生支持Gemma 3：

  • 免费GPU算力可用
  • 预装了HuggingFace Transformers
  • 支持GGUF格式直接加载

4. Android AICore

Gemma 3通过AICore在Android设备上原生运行：

  • 设备端推理，不依赖云端
  • 隐私保护，数据不离开设备
  • 支持离线使用

微调生态

Gemma 3的微调生态相当活跃：

官方工具

1. Gemma Factory

  • 支持LoRA/QLoRA微调
  • 针对Gemma架构优化
  • 提供预置训练配方

2. PEFT集成

  • HuggingFace PEFT库全面支持
  • 包括GaLore、QLoRA等新技术

社区资源

微调版本 方向 许可
Gemma-3-Code 代码生成 Apache 2.0
Gemma-3-Chat 对话优化 Gemma 3 License
Gemma-3-Japanese 日语增强 Gemma 3 License
Gemma-3-Korean 韩语增强 Gemma 3 License
Gemma-3-Math 数学推理 Gemma 3 License

开源许可

Gemma 3采用Google的Gemma 3 License，这是一个相对宽松的许可证：

  • ✅ 可用于商业目的
  • ✅ 可进行微调和定制
  • ✅ 可本地部署
  • ✅ 每月7亿用户以下免费
  • ⚠️ 不能直接用于训练竞争模型
  • ⚠️ 需标注"Built with Gemma"

选型建议

推荐选择Gemma 3的场景：

  • 手机端/移动应用
  • 需要本地运行的隐私敏感场景
  • Google Cloud用户
  • 需要快速微调的定制需求
  • IoT和边缘设备

推荐规格选择：

场景 推荐模型 精度
高端手机 Gemma 3 4B INT4 INT4
笔记本 Gemma 3 12B INT4 INT4
桌面/工作站 Gemma 3 27B INT4 INT4
服务器 Gemma 3 27B INT8 INT8

需要考虑其他模型的场景：

  • 中文为主 → Qwen3.5系列
  • 追求更强性能 → Llama 4 405B
  • 欧洲合规 → Mistral系列
  • 推理任务 → DeepSeek V4

结语

Gemma 3是2026年最成熟的端侧开源模型之一。Google在模型效率、量化优化和硬件适配上的深厚积累，使Gemma 3能够在各种端侧设备上流畅运行。其与Google生态的深度整合为企业用户提供了便利，而活跃的社区生态也使其成为研究者和开发者的好选择。虽然在绝对性能上不如大型模型，但对于端侧部署场景，Gemma 3系列提供了令人满意的平衡点。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞，认知差异创造无限可能。