很多团队想做一个内部知识库问答,一打听报价就被劝退。其实最小可用版本的成本比想象中低得多,关键是把范围划小。
这篇算一笔实账。
最小版本需要哪几样东西?
四样:一个文档解析器、一个向量库、一个嵌入模型、一个生成模型。
文档解析器负责把 PDF、Word、网页转成纯文本。向量库负责存和检索。嵌入模型把文本变成向量。生成模型根据检索结果组织答案。
这四样都有成熟的开源方案,不需要从零写。
硬件要求是多少?
如果只用 CPU 跑嵌入,用外部 API 做生成,一台 8 核 16G 的机器就够。文档量在几千份以内,检索延迟可以控制在一秒内。
如果要全本地,包括生成模型,需要显卡。7B 级别的模型在 16G 显存的卡上能跑,量化后 8G 也能跑,但质量会下降。
钱主要花在哪?
不在硬件,在文档清洗。真实的企业文档格式混乱:扫描件、表格、多栏排版、页眉页脚混在正文里。
清洗工作量通常占总工作量的一半以上。这部分没法自动化到零,得有人看样本、写规则、反复调。
为什么很多 RAG 项目失败?
不是因为技术不行,是因为检索质量差。用户问一个问题,检索出来的段落不相关,生成模型再强也只能编。
检索差的原因通常是分块不合理。按固定字数切,会把一个完整的意思切断;按段落切,又会把跨段落的逻辑打散。
分块该怎么定?
按语义切,不按字数切。具体做法是先按标题层级切大块,再在大块内按段落切小块,每块保留所属的标题路径作为上下文。
这个做法能显著提升检索命中率,因为它保留了语义边界。代价是解析器要能识别标题层级,对格式有要求。
怎么评估效果?
建一个测试集,五十到一百个真实问题,每个问题标注应该命中的文档段落。然后算两个指标:检索命中率和答案正确率。
分开算很重要。答案错了,可能是检索没找到,也可能是找到了但生成错了。不分开就不知道该修哪。
总成本大概多少?
按一个中等规模内部知识库估算:机器成本每月几百到一千,嵌入和生成的 API 成本每月几百,人力投入前期两到四周,后期每周几小时维护。
真正的大头是人力,不是资源。这一点在立项时要说清楚,否则很容易被当成一个纯技术项目,最后没人维护。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论