文心一言5.0发布:多模态推理突破
ERNIE 5.0:百度的多模态推理之跃 2026年5月,百度在百度AI开发者大会上发布文心一言5.0(ERNIE 5.0)。与4.0版本相比,5.0最大的突破在多模态推理——不仅能看懂图片,还能对图片进行逻辑推理、数学计算和科学分析。 百度CTO王海峰在发布会上演示了一个场景:给ERNIE 5.0看一张物理实验照片,它不仅能识别实验器材,还能推导实验原理、计算物理量、预测实验结果。这种"看图推理"能力标志着多模态AI从"感知"走向了"认知"。 模型架构 统一多模态架构 ERNIE 5.0采用了"统一多模态"架构,与之前"语言模型+视觉编码器"的拼接方案有本质区别: 输入模态 → 统一Token化 → 共享Transformer主干 → 统一输出 关键设计: 1. 多模态统一Token化 文本:BPE分词 图像:动态分辨率Patch(最高4096x4096) 音频:WavLM特征 + 线性投影 视频:每帧图像Patch + 时序位置编码 表格:结构化序列编码 2. 视觉推理增强 ERNIE 5.0在Transformer主干中加入了"视觉推理模块"(VRM): class VisualReasoningModule(nn.Module): """ 在标准自注意力之上增加空间推理能力 """ def __init__(self, config): super().__init__() self.spatial_attention = SpatialAttention( num_heads=16, num_spatial_scales=4 # 多尺度空间注意力 ) self.relation_extractor = RelationExtractor( hidden_size=config.hidden_size, num_relation_types=128 # 空间关系类型 ) self.logic_units = LogicUnits( hidden_size=config.hidden_size, operations=["count", "compare", "deduce", "calculate"] ) def forward(self, image_tokens, text_tokens): # 1. 空间注意力:理解图像中的空间关系 spatial_features = self.spatial_attention(image_tokens) # 2. 关系提取:识别物体之间的关系 relations = self.relation_extractor(spatial_features) # 3. 逻辑推理:基于关系进行推理 reasoning_output = self.logic_units(relations, text_tokens) return reasoning_output 这种设计使得ERNIE 5.0能够进行: ...


