用AI做代码评审阈值该设多严

把AI接进代码评审流程,最难的决策不是用什么模型,是设多严的阈值。 太松,评审意见淹没在噪音里,开发者开始忽略。太严,每个提交都卡住,流程效率反而下降。 评审意见分几类? 按严重程度分四类。第一类是确定缺陷,空指针、越界、资源泄漏、逻辑反转。第二类是风险提示,并发问题、性能隐患、边界条件未处理。第三类是规范问题,命名、注释、格式。第四类是风格偏好,写法习惯、设计选择。 第一类必须报,报错了也要报,因为漏掉的代价高。第四类基本不该报,报了只会引发争论。 阈值该设在哪个位置? 建议设在第二类。即:确定缺陷全部报,风险提示选择性报,规范问题只在违反团队明文约定时报,风格偏好不报。 这个阈值的效果是:每个提交平均一到三条意见,开发者会认真看。 怎么控制误报? 三个手段。第一是给模型足够的上下文,不只是diff,还有被修改函数的完整定义、调用方、相关测试。只看diff的评审必然误报多。 第二是明确团队约定。把命名规范、异常处理方式、日志要求写成提示的一部分,模型按约定判断,而不是按通用习惯。 第三是要求给出理由和位置。每条意见必须说明为什么是问题、在哪一行、怎么改。说不清的不报。 怎么评估效果? 不要看意见数量,看采纳率。抽样一百条意见,人工判断哪些是真问题,采纳率低于五成说明阈值需要收紧或者上下文不足。 再看漏报率。用历史上有缺陷的提交做回归测试,看模型能不能检出。漏报率高说明阈值太松。 两个指标要一起看。只调一个方向,另一个会恶化。 该接在哪个环节? 三个位置各有优劣。提交时预检,反馈最快,但开发者还没想清楚,改动频繁。合并请求时评审,上下文完整,但反馈慢。合入后巡检,不影响流程,但发现问题晚。 建议主评审放在合并请求环节,同时在提交时做一个轻量预检,只报第一类确定缺陷。 有哪些坑? 第一个坑是让AI替代人评审。AI能覆盖常见缺陷,覆盖不了业务逻辑错误。业务正确性必须人看。 第二个坑是不给模型看测试。有测试的代码和没测试的代码,风险等级不同,模型需要知道这个信息。 第三个坑是意见不带优先级。一堆意见平铺,开发者不知道先改哪个。应该分级标注。 长期怎么维护? 建立意见台账,记录每条意见的类型、是否被采纳、开发者反馈。定期统计哪类误报最多,针对性调整提示或过滤规则。 每季度做一次回归,用固定的缺陷样本集测检出率。模型会更新,流程会变,基线要重测。 结论? AI评审的价值在于稳定和不知疲倦,不在于比人聪明。设一个中等阈值,保证高采纳率,把它当成一个可靠的初筛,而不是最终裁判。这个定位清楚了,阈值自然就清楚了。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-14 · 1 min · 33 words · 王波

文档结构化解析工具怎么选先看表格还原率

做文档智能,第一步是解析。解析不好,后面全是垃圾进垃圾出。 市面上的解析工具很多,宣传都在说高准确率。真正该看的指标只有一个:表格还原率。 为什么表格是试金石? 因为表格最能暴露解析能力。纯文本段落,任何工具都能抽出个大概。表格要还原,需要同时做四件事:识别表格边界、识别行列结构、处理合并单元格、保持单元格内的文本完整。 四件事里任何一件出错,表格就废了。合并单元格处理错,行列表错位;边界识别错,两个表被并成一个。 而企业文档里,关键信息大量在表格里。 怎么测表格还原率? 不要用厂商给的样例。拿自己业务里最复杂的五份文档,人工标出每个表格的正确结构,然后跑工具,逐格对比。 对比三个维度:单元格内容是否完整、行列数是否正确、合并单元格是否还原。三个维度都对的表格算成功。 成功表格数除以总表格数,就是还原率。低于八成,这个工具在你的场景上不可用。 除了表格还要看什么? 三个次要指标。第一是阅读顺序,多栏排版、图文混排的文档,抽取顺序错了,语义就乱了。第二是页眉页脚处理,这些内容要能识别并排除,否则每页都混进无关文字。第三是公式和特殊符号,技术文档里的公式如果被拆成乱码,整段就废了。 这三个指标不用追求满分,够用即可。 主流的几类方案有什么差异? 第一类是规则加模板,速度快、成本低,但对版式变化敏感。适合版式固定的批量文档。 第二类是版面分析模型,能识别区域类型,适应性好。复杂版式表现优于规则方案。 第三类是端到端视觉大模型,直接把页面图像转成结构化文本。灵活度最高,对复杂版式适应最好,但成本高、速度慢,且输出格式不稳定。 第四类是混合方案,先用版面分析定位,再用视觉模型处理难点区域。性价比最高,工程复杂度也最高。 该怎么选? 按文档量和版式复杂度分。日处理几千份、版式统一,用规则加模板。版式多样、数量中等,用版面分析。数量少但每份都关键,用视觉大模型。追求综合最优,用混合。 再补一条:必须支持增量和新版式。业务会变,文档版式会变,工具要能快速适配,不能每次都重训。 常见误区是什么? 第一个误区是只测中文。业务文档里常有英文、数字、符号混排,只测中文会低估问题。 第二个误区是忽略扫描件。电子文档和扫描件的解析难度差一个量级,扫描件还要加预处理。 第三个误区是不做回归测试。换了新工具,老文档的解析结果可能变差,没有回归测试就发现不了。 结论? 解析是地基。地基上多花一周,后面能省一个月。选工具时把表格还原率当成硬指标,其他指标当参考,决策会清楚很多。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-14 · 1 min · 32 words · 王波

提示词工程的失效边界在哪

提示词工程曾经是最热的技能。写一段好的提示,模型表现能提升一大截。但它的效力有明显的边界,越过边界再优化提示就是浪费。 识别这条边界,能省下大量时间。 提示词能改变什么? 三类。第一类是任务定义,告诉模型要做什么、输出什么格式、按什么标准判断。第二类是上下文提供,把相关的材料、示例、约束放进去。第三类是风格控制,语气、长度、结构。 这三类都是信息层面的调整。模型的能力没变,只是被引导到正确的方向上。 什么情况下提示词无效? 第一种是能力不足。模型压根不会做这件事,提示写得再好也没用。比如要求它精确计算七位数乘法,或者要求它记住训练时没见过的专有事实。 第二种是知识缺失。答案不在模型的知识里,也不在提供的上下文里。这时候要做的是补检索,不是改提示。 第三种是格式约束过严。要求输出特定的JSON结构、特定的字段顺序、特定的字符限制,模型容易在细节上出错。这类问题应该用结构化输出接口解决,不是靠提示词反复强调。 第四种是多步任务的中间态。提示词能定义最终目标,但管不住中间每一步的判断。这类任务要靠编排和工具,不是靠一段长提示。 怎么判断该优化提示还是该换方案? 一个简单的测试:把同一个任务给三个不同的模型,如果三个都失败,问题在任务设计或数据,不在提示。如果只有一个失败,问题在模型选择。如果都能做但都不稳定,问题在提示或流程。 这个测试能快速定位问题层级。 提示词优化什么时候收益最大? 在能力边界内的任务上,收益最大。模型会做但做得不稳定,提示词能把稳定性提上来。尤其是提供示例、明确判断标准、要求自我检查这三招,效果明显。 超出边界,收益迅速归零。这时候继续调提示,常见的结果是提示越来越长、越来越绕,效果原地踏步。 好的提示有什么特征? 四个。目标单一,一段提示只解决一件事。约束具体,说清楚什么算合格,而不是说要做好。示例精准,给一两个典型案例,不要给一堆。留有退路,明确说清不确定时该怎么输出。 反面特征是堆砌形容词、反复强调要仔细要认真、用大量感叹号。这些对模型没有实际作用,只会占用词元。 未来的位置在哪? 提示词工程会从一个独立技能,变成工程流程里的一环。它不会被淘汰,但重要性会下降。 原因是模型越来越会理解模糊指令,同时结构化输出、工具调用、编排框架在接管原本靠提示解决的约束问题。 真正稀缺的能力会转向任务拆解和流程设计。这两个能力提示词替代不了。 结论? 提示词是杠杆,不是发动机。杠杆能放大已有能力,不能凭空创造能力。判断清楚自己面对的是哪一类问题,比掌握多少提示技巧更重要。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-14 · 1 min · 30 words · 王波

用RAG做企业知识库先解决哪三个脏数据问题

企业知识库项目失败,多数不是模型不行,是数据不行。上线前看着文档齐全,跑起来发现检索总取偏,答案总差一点。 排查下来,八成问题集中在三处脏数据。 第一个问题为什么是同一份文档有多个版本? 企业文档的生命周期里会产生大量版本:草稿、评审版、定稿、修订版、作废版。这些文件往往都存在共享盘里,文件名只差一个日期或者一个后缀。 检索时按相似度取,很可能取到作废版。模型照着作废版答,答案在业务上就是错的,而且错得很隐蔽。 解决办法:入库前做版本归并。按文档标题加业务编号做主语,识别同一文档的所有版本,只保留最新有效版。作废版单独存一个归档库,检索时排除。 这一步做不好,后面所有优化都是白费。 第二个问题为什么表格和图片里的信息会丢? 企业文档里大量关键信息在表格里:报价、参数、责任人、时间节点。常规解析把表格拍平成文本,行列关系全丢,模型读到一串没有结构的数字。 图片更麻烦:流程图、架构图、扫描件,直接解析出来是空的或者乱码。 解决办法:表格按行列结构抽取,转成带表头的结构化文本,每行标注所属字段。图片做OCR,流程图做结构识别,识别不了的人工补一段描述。 这一步的投入产出比最高,因为业务问题经常问的就是表格里的数。 第三个问题为什么术语总是不统一? 同一个东西在不同部门有不同的叫法。销售叫客户,产品叫用户,技术叫账号。同一份合同里可能三种说法混用。 检索时用户问客户流失,文档里写的是用户流失,向量检索能部分匹配,关键词检索直接漏掉。混合检索也会降低召回。 解决办法:建术语表,把同义词、缩写、旧称映射到标准词。入库时做归一化,查询时也做归一化。术语表不用大,覆盖高频的几十个词就有效果。 还有哪些常见坑? 权限边界不清,检索把不该看的文档取出来给模型,模型照着答了。这个问题必须在检索层做过滤,不能靠提示词约束。 文档更新没有增量机制,新文档入库要全量重建索引,周期长。应该做增量索引,新文档入队后几分钟内可检索。 引用溯源缺失,答案没有出处,业务方不敢用。每条答案要能追到具体的文档和段落。 落地顺序该怎么排? 先做版本归并,再做结构化抽取,然后建术语表,最后接权限和溯源。 前面两步决定召回质量,后面两步决定可信度。四步都做完,才谈得上可用。 很多项目跳过前两步直接调模型,结果在错误的检索结果上反复优化提示词,越优化越偏。这是最常见的浪费。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-14 · 1 min · 29 words · 王波

RAG 失败的三类典型场景

RAG 系统上线后效果不稳,多数不是模型问题,是三类典型失败场景没被识别。认清场景,才知道该改哪。 第一类失败为什么是检索不到? 表现是回答我不知道,但知识库里明明有答案。 四个原因。 第一,切分不当。答案被切在两个块里,任一单块都不完整。 第二,表述差异。用户问的说法和文档里的说法用词不同,向量匹配不到。 第三,元数据过滤过严。按分类或时间过滤,把正确文档排除了。 第四,索引未更新。新文档没进索引,或旧文档删了但索引还在。 对应修法:调整切分粒度、加关键词检索做混合、放宽过滤条件、建索引更新机制。 第二类失败为什么是检索错了? 表现是答得流畅,但引用的是不相关文档。 四个原因。 第一,相似度阈值太低。分数不高也被采用。 第二,文档重复且矛盾。多份文档说不同的事,检索到哪份看运气。 第三,块太大。一个块里混了多个主题,匹配到其中一句,整块被采用。 第四,缺少重排序。初步检索召回多个候选,没有二次排序,直接取第一个。 对应修法:提高阈值、去重并标权威源、缩小块大小、加重排序步骤。 第三类失败为什么是检索对了但用错? 表现是引用正确文档,结论却是错的。 四个原因。 第一,上下文过长。塞进太多文档,模型抓错重点。 第二,指令不清。提示没说清该怎么用这些文档。 第三,文档本身有条件限制。模型忽略了适用范围,把有条件结论当无条件。 第四,多文档冲突没处理。提示没要求标注冲突,模型自己选了一个。 对应修法:控制上下文长度、明确使用规则、要求引用限制条件、要求显式标注冲突。 怎么定位属于哪类? 三个检查。 第一,看检索结果。把召回的文档打出来,看有没有正确的那份。 第二,看引用。回答引用的段落是不是真的支持结论。 第三,看原始文档。结论和文档原意是否一致。 三步定位,基本能判断问题在哪一层。 怎么系统性改进? 四条。 第一,建评估集。准备一批问题和标准答案,每次改动都跑。 第二,分开评估检索和生成。检索准确率和生成准确率分开算,才知道该改哪。 第三,记录失败案例。每次失败标注属于哪类,累积起来看分布。 第四,优先修高频类型。不要一次改所有问题。 常见问题? 第一,只调提示。检索不到时改提示没用。 第二,只换模型。检索错了换模型也没用。 第三,不做评估集。改完不知道有没有变好。 第四,忽略文档质量。文档本身过期或矛盾,任何技术都救不了。 RAG 的效果上限由知识库决定,由检索和生成共同实现。分层定位,才能对症下药。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-13 · 1 min · 50 words · 王波

Prompt 版本管理的最小实践

Prompt 改来改去,最后忘了哪版有效。版本管理不需要复杂工具,几个最小实践就能避免混乱。 最小实践一为什么是一个提示一个文件? 不要把提示写在代码里,也不要在聊天窗口里改。 每个提示独立成文件,文件名带用途和版本,比如 工单分类-v3。 文件里只放提示正文,变量用占位符标注清楚。 最小实践二为什么要记录变更原因? 每次改动,在旁边写一句话:改了什么、为什么改。 例如把阈值从零点八改成零点七五,因为抽样发现漏判率偏高。 没有原因记录的改动,三个月后没人知道当时在想什么。 最小实践三为什么要保留测试样例? 每个提示配一组测试样例。五个到十个,覆盖典型输入和边界情况。 样例要固定,每次改提示都跑同一组,看结果变化。 样例的价值在于可比。换一组样例,前后对比就没意义。 最小实践四为什么要标注版本号与日期? 版本号加日期,比如 v3-20261113。 版本号用于引用,日期用于判断时效。模型版本更新后,旧提示可能失效,日期能提醒你复核。 最小实践五为什么要记录配套参数? 提示不是孤立的。模型、温度、最大长度、工具配置,都要一起记。 只改提示不改参数,结果可能完全不同。参数也要版本化。 最小实践六为什么要在上线前对比? 新版本上线前,用同一组样例对比新旧结果。 对比三个维度:准确率、稳定性、成本。 三个都向好,才切换;有一个变差,要评估是否可接受。 怎么组织这些文件? 一个简单结构。 目录按用途分。每个用途下放当前版本、历史版本、测试样例、变更记录。 当前版本单独放,避免误用历史版本。 怎么处理多人协作? 三条规则。 第一,改动前先拉最新版本。 第二,改动写变更记录,注明谁改的。 第三,冲突时以测试结果为准,不以资历为准。 常见问题? 第一,提示散落在代码各处。改一处忘一处,行为不一致。 第二,没有测试样例。改了不知道好坏,只能上线试。 第三,版本号混乱。v2、v2新、v2最终,无法判断哪个是当前。 第四,不记参数。复现不了当时的效果。 第五,改完不对比。新版本可能更差,但没人发现。 版本管理的目的是可复现。能复现,才能优化;不能复现,每次改动都是赌博。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-13 · 1 min · 47 words · 王波

智能体工作流的断点恢复怎么做

智能体工作流跑长任务,最怕中途失败全部重来。断点恢复做得好,成本和稳定性都能改善。 为什么需要断点恢复? 三个原因。 第一,长任务耗时长。一个批量任务跑两小时,中途失败重跑,时间成本翻倍。 第二,外部依赖不稳定。接口超时、限流、网络抖动,都是常态。 第三,成本敏感。重跑意味着重复调用,费用翻倍。 断点恢复让失败只影响最后一个步骤,前面的成果保留。 断点该存在哪? 三种存储。 第一种,本地文件。简单可靠,适合单机任务。 第二种,数据库。适合多实例、需要并发控制的场景。 第三种,对象存储。适合产出大文件的场景。 选择标准是:恢复时能不能快速读到,以及多个实例会不会冲突。 断点该记什么? 五个字段。 第一,任务标识和步骤序号。 第二,输入摘要的哈希值。用于判断输入是否变化。 第三,步骤产出。中间结果存下来。 第四,状态。成功、失败、跳过。 第五,时间戳和重试次数。 五个字段齐全,恢复时才知道从哪继续、要不要重跑。 怎么设计恢复流程? 四步。 第一步,启动时先查断点。有断点就从断点后继续,没有就从头。 第二步,校验输入。输入的哈希值和断点记录不一致,说明输入变了,要重跑。 第三步,跳过已完成步骤。已成功的步骤直接读产出,不重新执行。 第四步,处理失败步骤。按重试策略处理,超过上限则标记失败并继续后续。 关键点是第四步:失败的步骤不要阻塞整个流程,标记后继续,最后统一处理。 幂等怎么保证? 断点恢复的前提是步骤可重复执行不出错。 三个方法。 第一,写操作前先查是否已存在。存在就跳过。 第二,用唯一键做去重。同一任务同一输入,只处理一次。 第三,记录外部调用的请求 ID。重复调用时用同一个 ID,服务端会去重。 不做幂等,恢复时可能产生重复数据,比不恢复更麻烦。 常见问题? 第一,断点存了但没校验输入。输入变了还按断点继续,结果错。 第二,失败步骤直接中断。一个步骤失败,整个任务停住。 第三,不记重试次数。无限重试,成本失控。 第四,断点不清理。任务完成后断点还在,下次误用。 第五,多实例冲突。两个实例同时对同一任务做恢复,产生重复。 怎么验证? 三个测试。 第一,中途 kill 进程,重启后看能否从断点继续。 第二,故意让某步骤失败,看是否跳过并继续。 第三,输入变更后启动,看是否识别并重跑。 三个测试通过,恢复机制才算可用。 断点恢复的价值在长任务上。短任务做这个,收益不足以覆盖复杂度。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-13 · 1 min · 57 words · 王波

用 CursorBench 评估编码智能体

编码智能体的能力评估,靠感觉判断很容易高估。用标准化的测试集能给出可比的结果,但要注意几个前提。 为什么需要标准化评估? 三个原因。 第一,场景差异大。同一个模型在不同任务上表现可能差很远,凭几个例子判断不可靠。 第二,主观偏差。人容易记住成功的案例,忘记失败的。 第三,无法横向比较。不同模型各自演示,没有共同基准。 标准化测试集提供共同基准,让比较有依据。 这类测试集通常测什么? 四类任务。 第一类,单文件修复。给定一个文件和错误描述,要求修好。 第二类,多文件改动。需要理解项目结构,跨文件修改。 第三类,从零实现。给定需求,生成可运行的代码。 第四类,调试与优化。给定有问题的代码,要求定位并改进。 四类难度递增,覆盖不同能力维度。 评估要看哪些指标? 五个。 第一,通过率。任务完成且测试通过的比例。 第二,一次通过率。不需要多轮修正就通过的比例。这个指标反映真实可用度。 第三,平均轮次。完成任务平均需要几轮交互。 第四,回归率。改动后引入新问题的比例。这个指标最容易被忽略,但最重要。 第五,耗时。完成任务的实际时间。 只看通过率会误判。一个模型通过率高但回归率高,实际不可用。 怎么用测试结果? 三条。 第一,横向比较。同一测试集上不同模型的分数可以直接对比。 第二,纵向跟踪。同一模型不同版本的分变化,看是否在进步。 第三,场景匹配。看测试集里的任务类型是否和你的实际场景接近。不接近,分数参考价值有限。 评估有哪些局限? 四个。 第一,测试集的任务分布和真实项目不同。真实项目更杂乱、需求更模糊。 第二,测试环境简化。真实项目有依赖、有历史包袱。 第三,评分标准机械。通过测试不等于代码质量好。 第四,数据污染风险。测试集公开后,模型可能见过。 四个局限决定了:测试分数是参考,不是结论。 怎么结合实践评估? 三层验证。 第一层,标准测试集给基线分。 第二层,用自己的真实任务做一个私有测试集,十到二十个任务,覆盖高频场景。 第三层,实际项目试用,看长期表现。 三层结合,判断才准。 怎么建私有测试集? 第一步,从历史项目里挑典型任务。 第二步,每个任务写清输入、期望输出、判定标准。 第三步,固定下来,每次都跑同一套。 第四步,定期补充新类型任务。 私有测试集的价值在于贴合实际场景。公开测试集告诉你模型的上限,私有测试集告诉你它在你这里能不能用。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-13 · 1 min · 51 words · 王波

API 成本监控该看哪五个指标

API 成本失控,往往不是单价高,是没人看关键指标。五个指标覆盖用量、结构、异常、效率、趋势,看完就知道钱花在哪。 第一个指标为什么是单位任务成本? 不是总成本,是每个业务动作的成本。 比如每处理一张工单多少钱、每生成一篇文章多少钱。 这个指标能直接对比不同方案。总成本会随业务量变化,单位成本才能判断效率。 算法是总成本除以任务数。要按任务类型分开算,不要混在一起。 第二个指标为什么是调用结构占比? 按模型、按接口、按功能拆分,看各占多少。 常见的情况是,一个不常用的功能吃掉了三成成本。不看结构,永远发现不了。 结构占比要每周更新,因为业务在变。 第三个指标为什么是重试率? 失败重试是最隐蔽的成本来源。 重试率等于重试次数除以总调用次数。超过百分之五就要查原因。 重试的常见原因:超时设置太短、限流没做退避、输入超长被拒、输出格式不符。 每一个原因对应不同的修法,不能笼统地说不稳定。 第四个指标为什么是缓存命中率? 相同请求走缓存的比例。 命中率高,实际调用少,成本低。 命中率低,可能是缓存键设计不合理,或者业务本身请求分散。 这项指标直接对应成本,提升一个百分点就是省钱。 第五个指标为什么是成本趋势与预算偏差? 按天、按周看成本曲线,对比预算。 三个观察点。第一,是否有突增。突增通常是异常调用或配置错误。第二,增速是否超过业务增速。超过说明效率在下降。第三,月底是否集中冲量。集中冲量往往意味着预算管理有问题。 怎么监控? 三层。 第一层,实时告警。设日预算,超过八成告警。 第二层,日报。每天推送五个指标的数值和变化。 第三层,周报。分析结构变化和异常原因。 三层结合,既能看到异常,也能看到趋势。 怎么优化? 按指标对应动作。 单位成本高,检查模型选型和提示长度。 结构不合理,调整路由和功能优先级。 重试率高,修超时、限流、输入校验。 缓存命中率低,优化缓存键和过期策略。 趋势异常,定位具体调用方。 常见问题? 第一,只看总账单。总额看不出结构,也不知道该改哪。 第二,不区分任务类型。混在一起算,无法比较。 第三,不设告警。等月底看账单,已经超了。 第四,不追责到调用方。不知道谁在用,就无法约束。 成本监控的目的不是省钱,是让每一分钱都对应明确的价值。看清了,才敢投入。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-13 · 1 min · 48 words · 王波

多模型路由的分层省了多少钱

多模型路由听起来是省钱利器,实际省多少取决于任务分布。分层之后能省的钱,来自三件事。 分层省钱的机制是什么? 三个来源。 第一,任务分级。简单任务用便宜模型,复杂任务用贵模型。省下的是简单任务原本要付的差价。 第二,缓存复用。相同或相似请求命中缓存,直接返回,不调用模型。省下的是重复调用。 第三,失败降级。贵模型失败时用便宜模型兜底,避免重试造成的高成本。省下的是重试开销。 三件事叠加,才构成真实节省。 怎么估算能省多少? 先做一个任务分布统计。 把请求按难度分三档:简单、中等、复杂。统计各档的占比和单次成本。 假设全部用贵模型的成本是 A。分层后,简单档用便宜模型,成本降到原来的几分之一;中等档用中档模型;复杂档保持。 加权算出新成本 B。A 减 B 就是潜在节省。 但要注意,分层有额外成本:路由判断的开销、错误分流的损失。实际节省要扣掉这部分。 分层的关键在哪? 在路由判断的准确性。 判断错了,简单任务被送到贵模型,钱白花;复杂任务被送到便宜模型,结果质量差,要重跑,更贵。 所以路由判断的准确率,直接决定分层是否划算。准确率低的分层,可能比不分层更贵。 怎么提高判断准确率? 三个方法。 第一,规则前置。能用规则判断的先判断,比如输入长度、是否含代码、是否要求结构化输出。 第二,置信度阈值。模型自己给出难度判断,低于阈值转人工规则或直接走贵模型。 第三,反馈闭环。记录每次路由的结果质量,定期校准规则。 还有哪些隐性成本? 第一,工程复杂度。多模型意味着多套接口、多套提示、多套监控。 第二,一致性风险。同一类问题分到不同模型,回答风格不一致,用户会困惑。 第三,维护成本。模型版本更新、接口变更,都要跟着改。 第四,测试成本。每个模型都要单独测,测试矩阵成倍扩大。 什么时候不值得分层? 三种情况。 第一,用量小。每月调用量不大,省下的钱不够覆盖工程成本。 第二,任务同质。所有请求难度接近,分层没有空间。 第三,质量优先。场景对准确性要求极高,不值得为省钱冒险。 怎么落地? 第一步,先统计任务分布,看有没有分层空间。第二步,用规则做粗分层,先跑简单的。第三步,记录路由结果,校准规则。第四步,再引入模型判断。 分层的本质是用判断换成本。判断准,省得实在;判断不准,省的是假钱。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-13 · 1 min · 45 words · 王波
🔗 字元科技海外论坛 · https://ziyuanagi.com/ | 📡 RSS 订阅
鲁ICP备2026018361号
📮 联系信箱:13789892969@139.com