Tokenizer

多语言大模型的技术挑战与解决方案 大语言模型在英语上的表现已经非常出色，但在其他语言——特别是低资源语言——上的表现往往显著落后。构建真正高质量的多语言大模型，面临从数据到架构到评测的一系列技术挑战。 数据不平衡问题 英语霸权 主流大模型的训练数据中，英语通常占70%以上。这不是有意为之，而是互联网上英语内容的绝对优势导致的。这种不平衡直接导致模型在英语上的能力远强于其他语言。 数据不平衡的影响是具体的：一个在英语MMLU上得80分的模型，在中文C-Eval上可能只有65分，在斯瓦希里语的同等测试上可能只有40分。这不是模型"不懂"这些语言，而是训练数据不足以支撑同等水平的能力。 解决方案：数据平衡采样 最直接的解决方案是调整训练数据的语言比例。通过过采样低资源语言和欠采样高资源语言，使各语言的比例更均衡。 但简单平衡采样有问题：英语数据的质量和多样性远高于其他语言，减少英语数据可能损害模型的通用推理能力——而推理能力是跨语言共享的。 我们采用了"梯度平衡采样"策略：在训练早期保持英语占比较高（利用高质量英语数据建立基础能力），在训练后期逐步增加低资源语言的比例（进行语言特化）。这种策略在保持通用能力的同时提升了低资源语言的表现。 合成数据增强 对于极度缺乏训练数据的语言，我们使用多语言模型生成合成数据。具体方法： 选取高质量的英语/中文训练样本 翻译到目标语言 使用目标语言的合成样本进行训练 翻译质量是关键——低质量翻译会引入噪音而非有用的训练信号。我们使用专门的翻译模型而非通用模型进行翻译，并对翻译质量进行自动评分，仅保留高质量翻译。 Tokenizer的挑战 分词不公 BPE和SentencePiece等tokenizer在多语言场景下存在严重的"分词不公"——英语单词通常被编码为1-2个token，而其他语言的等价内容可能需要3-5个token。 这种不公平有两个后果：第一，非英语内容的处理速度更慢（需要更多次模型前向传播）；第二，非英语内容的上下文有效长度更短（同样的token预算容纳的非英语内容更少）。 解决方案 扩展词表：在tokenizer的训练数据中增加各语言的文本比例，使BPE学会为每种语言生成高效的编码。Qwen和Llama 3都采用了这种方法，将词表扩展到15万+token，显著改善了非英语的编码效率。 语言感知tokenizer：对不同语言使用不同的分词策略。例如，中文使用字符级分词，英文使用BPE子词分词，日语使用morpheme分析器。这种混合方案可以为每种语言提供最优编码，但增加了tokenizer的复杂度。 跨语言迁移 多语言大模型最重要的能力是跨语言迁移——在一种语言上学到的知识可以迁移到其他语言。 知识迁移的机制 研究表明，多语言模型在较高层形成了"语言无关"的内部表示——同一概念在不同语言中的表示趋于一致。这种表示对齐是跨语言迁移的基础。 表示对齐的程度与语言相似度相关：同语系语言（如英语和德语）的对齐较好，跨语系语言（如英语和中文）的对齐较差。这解释了为什么跨语系的知识迁移更困难。 增强迁移的方法 跨语言对比学习：在训练中加入对比学习目标，拉近同一概念在不同语言中的表示，推远不同概念的表示。这种方法显著提升了跨语言迁移效果。 翻译对预训练：使用平行语料（翻译对）进行预训练，让模型学会在不同语言间对应信息。我们在预训练数据中加入了约5%的平行语料，在跨语言问答任务上带来了约8%的提升。 思维链跨语言迁移：有趣的是，让模型用英语进行推理但在目标语言中输出答案，往往比直接用目标语言推理效果更好。这说明模型的推理能力主要存储在英语表示中，可以通过"内部翻译"迁移到其他语言。 评测的挑战 评测偏见 主流评测基准以英语为主。将英语评测翻译到其他语言进行评测会引入翻译偏见——翻译质量、文化差异、概念不可对应性都会影响评测结果的可靠性。 多语言评测基准 真正公平的多语言评测需要为每种语言独立设计评测集，确保文化适配和语言自然性。MMLU的多语言版本mMMLU、C-Eval、J-CHECK等都是这一方向的努力。但构建覆盖100+语言的高质量评测集需要巨大的投入。 文化适配 语言不仅是一种编码系统，也是文化的载体。一个"说"中文但思维方式完全是英语模式的模型，不能算是真正的中文模型。 文化适配要求模型理解语言背后的文化语境——在中文场景中理解"面子"的含义，在阿拉伯语场景中理解宗教表达的敏感性，在日语场景中理解敬语系统的微妙。 这需要训练数据不仅覆盖目标语言，还要覆盖目标文化的表达方式和思维模式。这比简单的语言翻译要困难得多。 结语 多语言大模型的构建是一个多维度挑战——数据、架构、训练策略、评测、文化适配都需要系统性的解决方案。随着AI的全球化部署，多语言能力不再是"锦上添花"而是"必须具备"。让AI服务于全球所有语言社区，不仅是技术挑战，也是技术公平的课题。 本文同步发布于 硅基AGI论坛

多语言大模型的技术挑战与解决方案 大语言模型在英语上的表现已经非常出色，但在其他语言——特别是低资源语言——上的表现往往显著落后。构建真正高质量的多语言大模型，面临从数据到架构到评测的一系列技术挑战。 数据不平衡问题 英语霸权 主流大模型的训练数据中，英语通常占70%以上。这不是有意为之，而是互联网上英语内容的绝对优势导致的。这种不平衡直接导致模型在英语上的能力远强于其他语言。 数据不平衡的影响是具体的：一个在英语MMLU上得80分的模型，在中文C-Eval上可能只有65分，在斯瓦希里语的同等测试上可能只有40分。这不是模型"不懂"这些语言，而是训练数据不足以支撑同等水平的能力。 解决方案：数据平衡采样 最直接的解决方案是调整训练数据的语言比例。通过过采样低资源语言和欠采样高资源语言，使各语言的比例更均衡。 但简单平衡采样有问题：英语数据的质量和多样性远高于其他语言，减少英语数据可能损害模型的通用推理能力——而推理能力是跨语言共享的。 我们采用了"梯度平衡采样"策略：在训练早期保持英语占比较高（利用高质量英语数据建立基础能力），在训练后期逐步增加低资源语言的比例（进行语言特化）。这种策略在保持通用能力的同时提升了低资源语言的表现。 合成数据增强 对于极度缺乏训练数据的语言，我们使用多语言模型生成合成数据。具体方法： 选取高质量的英语/中文训练样本 翻译到目标语言 使用目标语言的合成样本进行训练 翻译质量是关键——低质量翻译会引入噪音而非有用的训练信号。我们使用专门的翻译模型而非通用模型进行翻译，并对翻译质量进行自动评分，仅保留高质量翻译。 Tokenizer的挑战 分词不公 BPE和SentencePiece等tokenizer在多语言场景下存在严重的"分词不公"——英语单词通常被编码为1-2个token，而其他语言的等价内容可能需要3-5个token。 这种不公平有两个后果：第一，非英语内容的处理速度更慢（需要更多次模型前向传播）；第二，非英语内容的上下文有效长度更短（同样的token预算容纳的非英语内容更少）。 解决方案 扩展词表：在tokenizer的训练数据中增加各语言的文本比例，使BPE学会为每种语言生成高效的编码。Qwen和Llama 3都采用了这种方法，将词表扩展到15万+token，显著改善了非英语的编码效率。 语言感知tokenizer：对不同语言使用不同的分词策略。例如，中文使用字符级分词，英文使用BPE子词分词，日语使用morpheme分析器。这种混合方案可以为每种语言提供最优编码，但增加了tokenizer的复杂度。 跨语言迁移 多语言大模型最重要的能力是跨语言迁移——在一种语言上学到的知识可以迁移到其他语言。 知识迁移的机制 研究表明，多语言模型在较高层形成了"语言无关"的内部表示——同一概念在不同语言中的表示趋于一致。这种表示对齐是跨语言迁移的基础。 表示对齐的程度与语言相似度相关：同语系语言（如英语和德语）的对齐较好，跨语系语言（如英语和中文）的对齐较差。这解释了为什么跨语系的知识迁移更困难。 增强迁移的方法 跨语言对比学习：在训练中加入对比学习目标，拉近同一概念在不同语言中的表示，推远不同概念的表示。这种方法显著提升了跨语言迁移效果。 翻译对预训练：使用平行语料（翻译对）进行预训练，让模型学会在不同语言间对应信息。我们在预训练数据中加入了约5%的平行语料，在跨语言问答任务上带来了约8%的提升。 思维链跨语言迁移：有趣的是，让模型用英语进行推理但在目标语言中输出答案，往往比直接用目标语言推理效果更好。这说明模型的推理能力主要存储在英语表示中，可以通过"内部翻译"迁移到其他语言。 评测的挑战 评测偏见 主流评测基准以英语为主。将英语评测翻译到其他语言进行评测会引入翻译偏见——翻译质量、文化差异、概念不可对应性都会影响评测结果的可靠性。 多语言评测基准 真正公平的多语言评测需要为每种语言独立设计评测集，确保文化适配和语言自然性。MMLU的多语言版本mMMLU、C-Eval、J-CHECK等都是这一方向的努力。但构建覆盖100+语言的高质量评测集需要巨大的投入。 文化适配 语言不仅是一种编码系统，也是文化的载体。一个"说"中文但思维方式完全是英语模式的模型，不能算是真正的中文模型。 文化适配要求模型理解语言背后的文化语境——在中文场景中理解"面子"的含义，在阿拉伯语场景中理解宗教表达的敏感性，在日语场景中理解敬语系统的微妙。 这需要训练数据不仅覆盖目标语言，还要覆盖目标文化的表达方式和思维模式。这比简单的语言翻译要困难得多。 结语 多语言大模型的构建是一个多维度挑战——数据、架构、训练策略、评测、文化适配都需要系统性的解决方案。随着AI的全球化部署，多语言能力不再是"锦上添花"而是"必须具备"。让AI服务于全球所有语言社区，不仅是技术挑战，也是技术公平的课题。 本文同步发布于 硅基AGI论坛

分词器：文本与模型之间的桥梁 LLM无法直接处理文本——它需要将文本切分为离散的token序列，每个token对应一个整数ID。分词器（Tokenizer）就是完成这一转换的组件。分词器的选择直接影响模型的词表大小、序列长度、多语言能力和推理效率。 2026年主流LLM使用的分词器虽然名称各异，但核心算法主要分为BPE、WordPiece和Unigram三大类。 BPE（Byte Pair Encoding） 算法原理 BPE最初是一种数据压缩算法，被Sennrich等人（2016）引入NLP作为子词分词方法。其训练过程是自底向上的——从字符开始，逐步合并最频繁的字符对： def train_bpe(texts, vocab_size=32000): """BPE训练算法""" # 1. 将文本拆分为字符序列 word_freqs = {} for text in texts: words = text.split() for word in words: chars = tuple(word) word_freqs[chars] = word_freqs.get(chars, 0) + 1 # 2. 初始化词表为所有字符 vocab = set() for word in word_freqs: for char in word: vocab.add(char) # 3. 迭代合并最频繁的字符对 merges = [] while len(vocab) < vocab_size: # 统计所有相邻字符对的出现频率 pair_freqs = {} for word, freq in word_freqs.items(): for i in range(len(word) - 1): pair = (word[i], word[i+1]) pair_freqs[pair] = pair_freqs.get(pair, 0) + freq if not pair_freqs: break # 选择频率最高的对 best_pair = max(pair_freqs, key=pair_freqs.get) new_token = best_pair[0] + best_pair[1] # 合并 merges.append(best_pair) vocab.add(new_token) # 更新词频 new_word_freqs = {} for word, freq in word_freqs.items(): new_word = merge_in_word(word, best_pair) new_word_freqs[new_word] = new_word_freqs.get(new_word, 0) + freq word_freqs = new_word_freqs return vocab, merges 编码过程 训练好的BPE分词器在编码新文本时，按训练时的合并顺序逐步合并： def bpe_encode(text, merges, special_tokens): """BPE编码""" tokens = [] for word in text.split(): # 先检查是否是特殊token if word in special_tokens: tokens.append(word) continue # 字符级开始 word_tokens = list(word) # 按合并顺序尝试合并 for (a, b) in merges: i = 0 while i < len(word_tokens) - 1: if word_tokens[i] == a and word_tokens[i+1] == b: word_tokens[i] = a + b del word_tokens[i+1] else: i += 1 tokens.extend(word_tokens) return tokens Byte-level BPE GPT-2引入的改进——在字节级别而非字符级别进行BPE。这使得词表可以处理任意UTF-8字符，彻底解决了未登录字符（OOV）问题： ...

1. 为什么 Tokenizer 如此重要 Tokenizer 是大语言模型与文本世界的接口。它决定了： 模型如何"看到"文本（粒度） 词表大小与序列长度的权衡 多语言、代码、特殊字符的覆盖能力 模型的最大知识单元（token = 模型的"字母"） 一个不好的 tokenizer 会导致： 序列过长 → 计算浪费 未登录词过多 → 语义丢失 跨语言不均衡 → 多语言能力差 英文 "Hello World" 的不同分词: 字符级: H e l l o W o r l d → 11 tokens 词级: Hello World → 2 tokens (但词表爆炸) BPE: Hello World → 2 tokens (高频词保留) 字节级: Hello World → 2 tokens (256基础, 递归合并) 中文 "你好世界" 的不同分词: 字符级: 你 好 世 界 → 4 tokens BPE: 你 好 世 界 → 4 tokens (中文常见) 词级: 你好世界 → 1 token (理想但不可达) 2. BPE (Byte Pair Encoding) 2.1 算法原理 BPE 最初是一种数据压缩算法，被 Sennrich 等人 (2016) 引入 NLP。核心思想：从字符级开始，迭代合并最高频的相邻 token 对。 ...

1. 特殊标记的角色与意义 特殊标记（Special Tokens）是 Tokenizer 词表中预留的、具有特定语义功能的标记。它们不属于自然语言，却承担着结构化组织模型输入输出的关键职责。 特殊标记的核心功能: 1. 序列边界标记: [BOS] [EOS] - 标识序列开始/结束 2. 任务分隔标记: [SEP] - 分隔不同输入段 3. 分类聚合标记: [CLS] - 聚合全局语义 4. 填充对齐标记: [PAD] - 批处理中对齐长度 5. 未知词标记: [UNK] - 处理未登录词 6. 掩码标记: [MASK] - 遮蔽语言模型训练 7. 角色标记: <|im_start|> - 标识对话角色 8. 系统标记: <|system|> - 系统指令 1.1 特殊标记的 Token ID 约定 # 不同模型系列的特殊标记 ID 对比 special_token_ids = { "BERT": { "[PAD]": 0, "[UNK]": 1, "[CLS]": 2, "[SEP]": 3, "[MASK]": 103, }, "GPT-2": { "<|endoftext|>": 50256, # 单一结束标记 }, "LLaMA": { "<unk>": 0, "<s>": 1, "</s>": 2, "<pad>": 32000, }, "Llama-3": { "<|begin_of_text|>": 128000, "<|end_of_text|>": 128001, "<|start_header_id|>": 128006, "<|end_header_id|>": 128007, "<|eot_id|>": 128009, }, "ChatML (OpenAI)": { "<|im_start|>": 100264, "<|im_end|>": 100265, "<|endoftext|>": 100257, }, } 2. BERT 时代：分类与分隔 2.1 [CLS] 和 [SEP] 的设计 BERT 使用 [CLS] 和 [SEP] 来组织输入格式： ...

1. 为什么 Tokenization 至关重要 LLM 不能直接处理文本，必须将文本切分为离散的 Token 序列，再将每个 Token 映射为向量。Tokenizer 直接影响： 词汇表大小：影响 Embedding 层参数量和 Softmax 计算量 序列长度：同一段文本，不同 Tokenizer 产生的 Token 数不同，影响上下文窗口利用率 多语言公平性：中文一个字 vs 英文一个 word，Tokenizer 决定了编码效率 OOV 问题：未知 Token 的处理能力 2. BPE (Byte Pair Encoding) 2.1 算法思想 BPE 最初是数据压缩算法，被 Sennrich 等人（2016）引入 NLP。核心思路：从一个字符级词汇表开始，反复合并出现频率最高的相邻 Token 对。 2.2 训练过程 输入语料: {"low": 5, "lower": 2, "newest": 6, "widest": 3} 步骤 1: 拆分为字符序列 l o w </w> : 5 l o w e r </w> : 2 n e w e s t </w> : 6 w i d e s t </w> : 3 步骤 2: 统计相邻 Token 对频率 (l, o): 7, (o, w): 7, (e, r): 2, (n, e): 6, ... 步骤 3: 合并最高频对 (l, o) → "lo" lo w </w> : 5 lo w e r </w> : 2 n e w e s t </w> : 6 w i d e s t </w> : 3 重复直到词汇表达到目标大小 2.3 编码过程 对新文本，按训练时的合并规则顺序应用： ...