字节Seed 3.0模型发布：中文能力登顶
Seed 3.0：字节跳动的AI野心 2026年6月，字节跳动在火山引擎FORCE大会上正式发布Seed 3.0大模型。在中文NLP基准测试C-Eval、CMMLU和AlignBench上，Seed 3.0全面超越了GPT-6、Claude 5和Gemini 3 Ultra，成为中文能力最强的大模型。 这是中国AI公司首次在中文综合能力上全面登顶。对于一直在大模型领域默默投入的字节跳动来说，Seed 3.0是一个里程碑式的成果。 模型规格 架构设计 Seed 3.0的技术报告显示，它采用了MoE架构： 规格 Seed 3.0 Seed 2.0 总参数 520B 180B 激活参数 65B 40B 专家数 64 16 激活专家 6 4 层数 80 64 隐藏维度 14336 8192 注意力头 112 (GQA 14 KV) 80 (GQA 10 KV) 上下文长度 1M 256K 词表大小 150K（中文优化） 100K Seed 3.0的词表从100K扩展到150K，新增的50K主要覆盖中文字词、成语、专业术语和emoji。更大的中文词表意味着中文token的压缩比更高——同样的中文文本，Seed 3.0的token数比GPT-6少约30%，这直接降低了推理成本。 训练数据 字节在技术报告中披露了训练数据的构成： 中文网页：35T tokens（高质量过滤后） 英文网页：45T tokens 代码：15T tokens 学术文献：12T tokens（中文3T + 英文9T） 多模态数据：20T tokens 合成数据：18T tokens 其他语言：5T tokens 总计：约150T tokens 中文数据占比超过30%，这是Seed 3.0中文能力领先的数据基础。作为对比，GPT-6的中文数据占比估计不到10%。 ...