本地部署 agent,动机通常有两个:数据不出门,和成本可控。但落地路径和云端完全不同,坑也不一样。

第一步该做什么?

选场景,不是选模型。找一个数据敏感、流程固定、量不大的场景先跑。

量大的场景不适合起步,因为本地算力扛不住。

硬件怎么估?

三个数。显存、内存带宽、并发数。

第一个决定能跑多大模型,第二个决定生成速度,第三个决定能服务多少人。

模型怎么选?

三条。优先选量化版本,牺牲一点质量换显存。优先选专用模型,通用模型在本地跑不动。优先选有社区支持的,出问题有人问。

第二条最实用。专用小模型在窄任务上往往够用。

工具链怎么搭?

四层。推理引擎、编排层、工具层、界面层。

第一层最关键。引擎选错,后面都难优化。

权限怎么管?

三条。本地账号体系,别共用。工具白名单,限定可调用的接口。操作日志,本地留存。

第一条最容易被忽略。本地部署不等于安全,账号共用一样会出事。

怎么保证可用性?

三个动作。健康检查,定时探活。降级方案,模型挂了切备用。备份,配置和知识库定期存。

第二个最实用。本地没有云厂商兜底,必须有备用。

成本怎么算?

四块。硬件、电力、运维人力、机会成本。

第三块最容易被低估。本地系统要人维护,这个人不能干别的。

有哪些常见坑?

四个。第一,低估显存需求。第二,不做并发压测。第三,模型更新没有回滚。第四,忽略散热和噪音。

第一个最普遍。跑起来才发现放不下。

什么时候该回云?

三种。并发上来了本地扛不住。模型能力差距太大。运维成本超过云服务费用。

三种都出现,就该重新评估。

这篇的核心结论是什么?

本地部署买的是控制权,代价是运维。控制权值多少,决定了这条路走不走。

还有哪些需要留意的点?

硬件选型建议先做小规模验证,别一次采购到位。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论