很多团队想做一个内部知识库问答,一打听报价就被劝退。其实最小可用版本的成本比想象中低得多,关键是把范围划小。

这篇算一笔实账。

最小版本需要哪几样东西?

四样:一个文档解析器、一个向量库、一个嵌入模型、一个生成模型。

文档解析器负责把 PDF、Word、网页转成纯文本。向量库负责存和检索。嵌入模型把文本变成向量。生成模型根据检索结果组织答案。

这四样都有成熟的开源方案,不需要从零写。

硬件要求是多少?

如果只用 CPU 跑嵌入,用外部 API 做生成,一台 8 核 16G 的机器就够。文档量在几千份以内,检索延迟可以控制在一秒内。

如果要全本地,包括生成模型,需要显卡。7B 级别的模型在 16G 显存的卡上能跑,量化后 8G 也能跑,但质量会下降。

钱主要花在哪?

不在硬件,在文档清洗。真实的企业文档格式混乱:扫描件、表格、多栏排版、页眉页脚混在正文里。

清洗工作量通常占总工作量的一半以上。这部分没法自动化到零,得有人看样本、写规则、反复调。

为什么很多 RAG 项目失败?

不是因为技术不行,是因为检索质量差。用户问一个问题,检索出来的段落不相关,生成模型再强也只能编。

检索差的原因通常是分块不合理。按固定字数切,会把一个完整的意思切断;按段落切,又会把跨段落的逻辑打散。

分块该怎么定?

按语义切,不按字数切。具体做法是先按标题层级切大块,再在大块内按段落切小块,每块保留所属的标题路径作为上下文。

这个做法能显著提升检索命中率,因为它保留了语义边界。代价是解析器要能识别标题层级,对格式有要求。

怎么评估效果?

建一个测试集,五十到一百个真实问题,每个问题标注应该命中的文档段落。然后算两个指标:检索命中率和答案正确率。

分开算很重要。答案错了,可能是检索没找到,也可能是找到了但生成错了。不分开就不知道该修哪。

总成本大概多少?

按一个中等规模内部知识库估算:机器成本每月几百到一千,嵌入和生成的 API 成本每月几百,人力投入前期两到四周,后期每周几小时维护。

真正的大头是人力,不是资源。这一点在立项时要说清楚,否则很容易被当成一个纯技术项目,最后没人维护。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论