端侧小模型这两年进展很快。手机能跑十亿参数级别的模型,笔记本能跑七十亿量化的模型。宣传口径是隐私、离线、低延迟三合一。
实际可用性到了哪个程度?要分开看能力、体验、生态三条线。
能力线:能做什么,不能做什么?
能做的:文本分类、意图识别、简单摘要、格式转换、短对话、本地检索增强的问答。这些任务对知识量要求低,对指令遵循要求高,小模型够用。
不能做的:复杂推理、长文档理解、需要大量世界知识的问答、代码生成中的复杂重构。这些任务小模型明显力不从心,勉强做出来质量不可靠。
中间地带是可用但不稳定的:多轮对话、结构化抽取、简单写作。这些任务上小模型有时很好,有时跑偏,需要兜底。
体验线:延迟和功耗怎么算?
端侧的优势是省掉网络往返。本地推理首字延迟可以做到几十毫秒,比云端快一个量级。这对实时交互场景是实质改善。
代价是功耗和发热。持续推理会让手机发烫、掉电快。实际产品通常限制单次推理时长,或者只在特定场景启用。
还有一层是内存。模型加载占用的内存会挤占其他应用,低端机型可能直接跑不动。
生态线:工具链成熟了吗?
部分成熟。主流推理框架已经支持常见的量化格式和硬件加速,部署流程比两年前顺畅很多。
不成熟的是模型选择。真正为端侧优化过的模型数量有限,多数是从大模型蒸馏来的,在端侧场景上未必最优。
另一处不成熟是更新机制。模型要迭代,端侧怎么更新?增量下发、版本回滚、兼容旧设备,这些工程问题还在摸索。
拐点到了吗?
到了半个。技术上可用,商业上还没找到大规模落地场景。
已经跑通的场景有三类:输入法的本地纠错和联想、相册的本地语义搜索、语音助手的离线指令识别。这三类的共同点是任务窄、容错高、隐私敏感。
还没跑通的是通用助手。用户期望它能做各种事,小模型的能力覆盖不了这个期望,一旦失败率高,用户就关掉。
该怎么用?
按场景分工。隐私敏感的、延迟敏感的、离网可用的,放端侧。需要知识和推理的,走云端。中间用路由判断,简单请求本地处理,复杂请求上云。
这个混合架构是当前最现实的选择。纯端侧和纯云端都有明显短板。
未来会怎样?
端侧能力会继续涨,但不会取代云端。两者的分工会更清晰:端侧管即时和私密,云端管深度和广度。
真正的拐点不在模型变小,在于端侧场景被定义清楚。场景清楚了,模型能力的绝对值就没那么重要。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论