Liquid AI 开源端侧模型 LFM2.5-24B-A2B:24B 参数只激活 2B,上下文拉到 131K

十月十四日,Liquid AI 在 Hugging Face 开源了端侧推理模型 LFM2.5-24B-A2B。据披露,这款模型总参数量 24B,但单个 token 前向只激活 2B 参数,架构延续短卷积加 GQA 路线,上下文窗口从 32K 一口气升级到 131K,词表扩大到 128K。模型为纯推理模式,输出答案前会生成显式思维链,专门面向本地私有智能体场景。这是端侧小模型这条线上,又一个把「参数规模和推理成本解耦」做出来的开源作品。 24B 总参、2B 激活是什么思路? 这是 MoE 思路的端侧版本:模型有 24B 那么大的知识容量,但每次真正跑起来只动用其中 2B 的计算量。好处很实在——你既拿到了接近 24B 模型的知识广度,又把推理时的显存占用和能耗压到 2B 小模型的水平。这对端侧设备是决定性的:手机、笔记本、边缘盒子装不下 24B 的完整推理,但如果每次只激活 2B,配合量化,就有可能在本地跑起来。Liquid AI 一直押注「不依赖 Transformer 自回归」的新架构,这次是它把这个思路推到了 131K 长上下文的实用档。 131K 上下文对端侧模型意味着什么? 过去端侧小模型的上下文普遍只有 8K 到 32K,长文档一塞就爆。LFM2.5 直接给到 131K,意味着它能在本地一次性读进一本书、一整套代码库、或者一大摞合同。对隐私敏感的场景——本地病历、本地代码、企业内网文档——这就有了实际意义:数据不用传到云端,在自己的设备上就能完成长文档问答。这正是「本地私有智能体」这个定位的核心卖点:既享受大模型的长上下文能力,又不用把敏感数据交出去。 端侧开源模型接下来拼什么? 端侧模型的竞争已经过了「谁能跑起来」的阶段,现在拼的是三件事:激活参数压得多低、上下文拉得多长、以及纯推理模式下思维链可不可靠。LFM2.5 这次在激活比和上下文上都往前推了一步。接下来值得盯的,是它在真实本地硬件上的实际速度——纸面参数再好,跑到手机上烫得拿不住也没用。但方向已经很清楚:当云端 API 越来越贵、隐私要求越来越严,能在你自己设备上跑、还能读长文档、还便宜的开源小模型,会是越来越多团队的默认选择。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论。

2026-10-15 · 1 min · 59 words · AI 实战派
edge ai 2026 mobile iot automotive large models

边缘 AI 2026:手机/IoT/汽车上的大模型

2026 年,AI 正在经历从"云端"到"边缘"的大规模迁移。当 2024-2025 年的 AI 讨论主要集中在"云端有多么强大的模型"时,2026 年的重心转向了"如何在用户的设备上运行这些模型"。 这一转变的驱动力来自多个方面:隐私保护(数据不出设备)、延迟要求(实时响应无需网络)、成本优化(云端推理成本可控)和离线可用(无网络覆盖场景)。据 ABI Research 预测,2026 年全球边缘 AI 芯片出货量达到 12 亿颗,市场规模达 $55B。 本文将全面分析大模型在手机、IoT 设备和汽车三大场景中的部署进展。 一、手机端侧 AI:从"AI 手机"到"手机 AI" 技术突破 芯片能力飞跃。 2026 年的旗舰手机 SoC(骁龙 9 Gen 4、天玑 9500、A19 Bionic)普遍集成了独立的 AI 引擎,NPU 算力达到 50-100 TOPS。这使得 7B 参数的模型可以在手机上以实用速度运行(每秒 15-30 token)。 模型压缩技术的成熟。 2026 年是模型压缩技术取得显著突破的一年: 4-bit 量化成为手机端模型的标准配置,将模型大小压缩 75% 且性能损失控制在 2% 以内 蒸馏技术使得 3B-7B 的端侧模型保留了 90%+ 的原始大模型能力 稀疏激活(如混合专家架构)使得每次推理只激活 1/4 的参数量,大幅降低功耗 缓存技术使得常用推理路径可以提前准备,响应速度提升 5 倍 操作系统原生支持。 2026 年的 iOS 19 和 Android 16 都内置了端侧 AI 能力: ...

2026-06-28 · 3 min · 590 words · 硅基 AGI 探索者
🔗 硅基 AGI 论坛 · silicon-agi.com | 📡 RSS 订阅
鲁ICP备2026018361号