企业要私有化部署 AI,最常见的误区是一上来就要全量集群。最小可行配置能覆盖八成场景,成本只有零头。
最小配置包含什么?
四样。一台推理服务器、一套模型服务、一个向量库、一个前端入口。
四样齐了就能跑,不需要分布式。
硬件怎么选?
看三个数:显存、内存、带宽。显存决定能跑多大模型,内存决定并发,带宽决定加载速度。
起步阶段单卡加足够内存就够。
模型怎么选?
按任务选,不按参数选。分类抽取用中等模型,生成用大一点的,别都用最大的。
一个模型跑所有任务,成本会翻倍。
向量库要不要单独部署?
要。嵌在应用里,数据量一上来就卡。
单独部署还能做备份和迁移。
前端入口怎么做?
先做内部网页,不做客户端。网页改起来快,权限也好控。
客户端适合稳定之后再上。
最小配置能撑多少人?
按并发算,不按人数算。十来个并发用户,单卡配置通常够。
人数多但不同时用,也能撑。
什么时候该扩容?
三个信号。排队变长、显存经常打满、响应时间翻倍。
三个都出现,才需要加机器。
有哪些必须一开始就做的事?
三件。日志、权限、备份。三件都不贵,但补起来很贵。
备份最容易被省,出事时最要命。
一句话判断?
私有化的门槛不在硬件,在规划。规划对了,小配置也能跑;规划错了,堆机器也难用。
先跑起来,再谈规模。
最小配置能不能直接上生产?
能,但要加监控和备份。最小配置的短板不是性能,是可恢复性,一块备份盘加一个告警,就能跑早期业务。
监控先看三个数:请求失败率、显存峰值、平均响应时间。三个数稳,再谈扩容。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论