本地部署 agent,动机通常有两个:数据不出门,和成本可控。但落地路径和云端完全不同,坑也不一样。
第一步该做什么?
选场景,不是选模型。找一个数据敏感、流程固定、量不大的场景先跑。
量大的场景不适合起步,因为本地算力扛不住。
硬件怎么估?
三个数。显存、内存带宽、并发数。
第一个决定能跑多大模型,第二个决定生成速度,第三个决定能服务多少人。
模型怎么选?
三条。优先选量化版本,牺牲一点质量换显存。优先选专用模型,通用模型在本地跑不动。优先选有社区支持的,出问题有人问。
第二条最实用。专用小模型在窄任务上往往够用。
工具链怎么搭?
四层。推理引擎、编排层、工具层、界面层。
第一层最关键。引擎选错,后面都难优化。
权限怎么管?
三条。本地账号体系,别共用。工具白名单,限定可调用的接口。操作日志,本地留存。
第一条最容易被忽略。本地部署不等于安全,账号共用一样会出事。
怎么保证可用性?
三个动作。健康检查,定时探活。降级方案,模型挂了切备用。备份,配置和知识库定期存。
第二个最实用。本地没有云厂商兜底,必须有备用。
成本怎么算?
四块。硬件、电力、运维人力、机会成本。
第三块最容易被低估。本地系统要人维护,这个人不能干别的。
有哪些常见坑?
四个。第一,低估显存需求。第二,不做并发压测。第三,模型更新没有回滚。第四,忽略散热和噪音。
第一个最普遍。跑起来才发现放不下。
什么时候该回云?
三种。并发上来了本地扛不住。模型能力差距太大。运维成本超过云服务费用。
三种都出现,就该重新评估。
这篇的核心结论是什么?
本地部署买的是控制权,代价是运维。控制权值多少,决定了这条路走不走。
还有哪些需要留意的点?
硬件选型建议先做小规模验证,别一次采购到位。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论