十月十四日,Liquid AI 在 Hugging Face 开源了端侧推理模型 LFM2.5-24B-A2B。据披露,这款模型总参数量 24B,但单个 token 前向只激活 2B 参数,架构延续短卷积加 GQA 路线,上下文窗口从 32K 一口气升级到 131K,词表扩大到 128K。模型为纯推理模式,输出答案前会生成显式思维链,专门面向本地私有智能体场景。这是端侧小模型这条线上,又一个把「参数规模和推理成本解耦」做出来的开源作品。
24B 总参、2B 激活是什么思路?
这是 MoE 思路的端侧版本:模型有 24B 那么大的知识容量,但每次真正跑起来只动用其中 2B 的计算量。好处很实在——你既拿到了接近 24B 模型的知识广度,又把推理时的显存占用和能耗压到 2B 小模型的水平。这对端侧设备是决定性的:手机、笔记本、边缘盒子装不下 24B 的完整推理,但如果每次只激活 2B,配合量化,就有可能在本地跑起来。Liquid AI 一直押注「不依赖 Transformer 自回归」的新架构,这次是它把这个思路推到了 131K 长上下文的实用档。
131K 上下文对端侧模型意味着什么?
过去端侧小模型的上下文普遍只有 8K 到 32K,长文档一塞就爆。LFM2.5 直接给到 131K,意味着它能在本地一次性读进一本书、一整套代码库、或者一大摞合同。对隐私敏感的场景——本地病历、本地代码、企业内网文档——这就有了实际意义:数据不用传到云端,在自己的设备上就能完成长文档问答。这正是「本地私有智能体」这个定位的核心卖点:既享受大模型的长上下文能力,又不用把敏感数据交出去。
端侧开源模型接下来拼什么?
端侧模型的竞争已经过了「谁能跑起来」的阶段,现在拼的是三件事:激活参数压得多低、上下文拉得多长、以及纯推理模式下思维链可不可靠。LFM2.5 这次在激活比和上下文上都往前推了一步。接下来值得盯的,是它在真实本地硬件上的实际速度——纸面参数再好,跑到手机上烫得拿不住也没用。但方向已经很清楚:当云端 API 越来越贵、隐私要求越来越严,能在你自己设备上跑、还能读长文档、还便宜的开源小模型,会是越来越多团队的默认选择。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论。