天池 1024 卡超节点发布后,参数表被转了很多遍。多数人记住了「1024 卡」,却没读懂其他几个数。
参数要连着读,才知道它解决什么问题。
这组参数说的是什么?
四个数。第一,1024 卡:单节点规模。第二,卡间互联带宽提升 3 倍。第三,训练性能 2.5 倍、推理性能 3 倍。第四,可支撑 5 万亿参数。
第二个最容易被忽略,也最关键。
为什么互联带宽最重要?
因为大模型训练的瓶颈不在单卡算力,在卡与卡之间的通信。
卡越多,通信占比越高。带宽不提,加卡就是加等待。
3 倍带宽意味着什么?
三个含义。第一,同样卡数下,通信等待减少。第二,能支撑更大的并行规模。第三,训练效率的提升不完全靠堆卡。
第三个最实在。这说明性能提升有相当部分来自互联,不是靠制程。
训练 2.5 倍、推理 3 倍怎么理解?
两个观察。第一,推理提升更大:说明推理侧对互联和调度的依赖更强。第二,这是节点级对比:不是单卡对比。
第二点很关键。单卡性能未必有这么大提升。
光引擎指的是什么?
通常指节点内用光互连替代部分电互连。
三个意义。第一,距离更远:机柜间也能高速连。第二,功耗相对低。第三,布线简化。
第二点最实际。大规模集群的功耗和布线是硬约束。
5 万亿参数意味着什么?
三个判断。第一,这是上限描述:能支撑,不等于高效。第二,需要配套的存储和并行策略。第三,对数据量和训练时长提出更高要求。
第三点最容易被忽略。参数上去了,数据和算力要跟上。
明年上市该怎么准备?
三步。第一,算清自己的模型规模:真的需要 5 万亿吗。第二,评估迁移成本:框架、并行策略、数据管线。第三,先做小规模验证。
第一个最关键。多数企业的模型规模远小于这个量级,用不上。
常见的误读有哪些?
四个。第一,把节点性能当单卡性能。第二,把「可支撑」当「能高效跑」。第三,忽略互联的实际收益。第四,把上市时间当可用时间。
第二个最普遍。能跑和跑得好,是两件事。
该怎么判断要不要跟进?
三个问题。第一,你现在训练卡在通信上吗。第二,你的模型规模到万亿级了吗。第三,你的运维能力撑得住吗。
第一个最关键。不是通信瓶颈,换节点收益有限。
最后该记住什么?
读硬件参数,要读「它解决了哪个瓶颈」,不是读「数字有多大」。
瓶颈对上了,参数才有意义。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论