文心一言5.0发布：多模态推理突破
ERNIE 5.0：百度的多模态推理之跃 2026年5月，百度在百度AI开发者大会上发布文心一言5.0（ERNIE 5.0）。与4.0版本相比，5.0最大的突破在多模态推理——不仅能看懂图片，还能对图片进行逻辑推理、数学计算和科学分析。 百度CTO王海峰在发布会上演示了一个场景：给ERNIE 5.0看一张物理实验照片，它不仅能识别实验器材，还能推导实验原理、计算物理量、预测实验结果。这种"看图推理"能力标志着多模态AI从"感知"走向了"认知"。 模型架构 统一多模态架构 ERNIE 5.0采用了"统一多模态"架构，与之前"语言模型+视觉编码器"的拼接方案有本质区别： 输入模态 → 统一Token化 → 共享Transformer主干 → 统一输出 关键设计： 1. 多模态统一Token化 文本：BPE分词 图像：动态分辨率Patch（最高4096x4096） 音频：WavLM特征 + 线性投影 视频：每帧图像Patch + 时序位置编码 表格：结构化序列编码 2. 视觉推理增强 ERNIE 5.0在Transformer主干中加入了"视觉推理模块"（VRM）： class VisualReasoningModule(nn.Module): """ 在标准自注意力之上增加空间推理能力 """ def __init__(self, config): super().__init__() self.spatial_attention = SpatialAttention( num_heads=16, num_spatial_scales=4 # 多尺度空间注意力 ) self.relation_extractor = RelationExtractor( hidden_size=config.hidden_size, num_relation_types=128 # 空间关系类型 ) self.logic_units = LogicUnits( hidden_size=config.hidden_size, operations=["count", "compare", "deduce", "calculate"] ) def forward(self, image_tokens, text_tokens): # 1. 空间注意力：理解图像中的空间关系 spatial_features = self.spatial_attention(image_tokens) # 2. 关系提取：识别物体之间的关系 relations = self.relation_extractor(spatial_features) # 3. 逻辑推理：基于关系进行推理 reasoning_output = self.logic_units(relations, text_tokens) return reasoning_output 这种设计使得ERNIE 5.0能够进行： ...
