端侧推理

Liquid AI发布LFM2.5-24B-A2B，这是其2.5系列最大的最终版本，总参数24B但每个token仅激活约2B。它采用该公司一贯的高效架构，专为端侧、私密的智能体场景设计。官方称在智能体与工具调用任务上表现有竞争力，在Apple M5 Max上可达184 token每秒，在NVIDIA B300上最高约21000 token每秒输出。这种大总参数、小激活的设计，让模型既有大容量，又能在本地设备上低成本快速运行，是端侧智能体的一个重要样本。 24B总参数却只激活2B是什么原理？ 它用混合专家架构，每个token只唤醒少数专家，显存里可以存下大容量，但每次计算只动一小部分。这样既保留了多领域知识，又把单次推理的计算量压到很小，适合本地设备。 为什么强调端侧和私密？ 端侧运行意味着数据不出设备，不用上传云端，对隐私敏感的办公和个人场景很有吸引力。智能体又需要频繁调用工具，低延迟、低成本的本地模型体验更跟手。 本地跑24B模型现实吗？ 通过稀疏激活和量化，它把内存和算力需求降到消费级硬件可承受范围。184 tok/s在笔记本上已经流畅，说明端侧大模型正从演示走向可用，这会改变很多应用的部署方式。 这对AI落地意味着什么？ 它证明不必所有任务都依赖云端超大模型，把合适的模型放到设备本地，既能省成本又能保护隐私。未来大量日常智能体，会跑在你自己的电脑和手机上。 总体来看，这条新闻的真正价值，不在于一时的热闹或数字本身，而在于它如何影响接下来的产品节奏、资本预期、监管走向和用户习惯。技术的变化往往先在小圈子里被放大，又在媒体的转述中被简化，因此更需要回到原始信息和长期趋势里去判断。建议读者既不要因为一条快讯就过度乐观，也不要因为个别波折就轻易否定方向；等更多细节、第三方数据和真实落地案例逐步披露，再回头验证今天的判断是否成立，才是看待这类行业动态更稳妥、也更有收获的方式。 说到底，真正决定这件事影响大小的，不是发布当天的声量，而是接下来一段时间里，它能否被持续使用、被真实场景验证、被更多开发者和用户接纳。技术新闻的价值往往要经过时间沉淀才看得清，保持观察、持续跟踪后续进展，比第一时间下结论更有意义。 把这件事放回行业大背景看，它既不是孤立事件，也不是终点，而是整个AI浪潮持续推进的一个最新注脚。 信息来源与延伸阅读？ Liquid AI LFM2.5-24B-A2B 端侧推理模型发布 - 机器之心 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论