自己跑一套模型评测该怎么做

公开榜单越来越不可信,因为训练数据可能覆盖了题目。要做选型决策,得有自己的评测集。 搭一套不难,难在坚持维护。 第一步该做什么? 定义任务。不要做通用评测,做你业务里的具体任务。 比如客服问答、合同条款抽取、商品标题生成。每个任务单独一套题。 测试集怎么建? 三个来源。第一,真实历史数据,最有价值。第二,人工构造的边界案例。第三,线上 badcase 的沉淀。 规模建议每个任务五十到两百条。太少结论不稳,太多维护成本高。 标准答案怎么定? 分两类。客观题有唯一答案,比如抽取某个字段。主观题需要评分标准,比如文案质量的几个维度。 主观题建议三人独立打分,取平均,分歧大的单独讨论。 怎么跑评测? 三步。第一,固定提示词和环境,所有模型用同一套。第二,批量执行,记录原始输出。第三,评分,客观题自动判,主观题人工。 第一步最关键。提示词不同,比出来的结果没有意义。 怎么算成本? 三个维度。第一,单次调用成本。第二,达到可用质量需要的重试次数。第三,人工复核的工作量。 第二个最容易被忽略。一个准确率高但格式不稳定的模型,实际成本可能更高。 怎么保证评测有效? 三个原则。第一,测试集不泄露给模型厂商。第二,定期更新题目,防止过拟合。第三,保留历史结果,能看趋势。 第二条很重要。同一套题用一年,模型可能已经针对性优化过。 怎么维护? 三个动作。第一,每季度加二十条新题,来自最近的 badcase。第二,淘汰过时的题。第三,记录每次评测的结论和决策。 第三个能避免重复踩坑。半年前测过的模型,结论可能还有参考价值。 有什么常见错误? 四个。第一,用公开榜单的题目,测不出真实能力。第二,样本太少,一两条差异就下结论。第三,只测准确率,不测成本和延迟。第四,测完不记录,下次重新来。 第四个最浪费。评测的价值在于积累,不做记录就白做。 最后该记住什么? 自建评测集是选型的基础设施。建一次,能用很久,而且越用越准。 不愿意建评测集的团队,只能跟着别人的结论走,永远慢一步。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 37 words · 王波

长文档处理的三条实用路径

长文档处理是个高频需求:合同、报告、手册、论文。直接塞进上下文往往效果不好,需要选对路径。 三条路径对应不同的任务类型。 第一条路径是什么? 整篇摘要。把文档分段摘要,再对摘要做二次摘要。 适合的任务是快速了解全文,不适合需要精确引用的场景。 缺点是信息损失逐层累积。两层摘要之后,细节基本没了。 第二条路径是什么? 检索定位。先把文档切块建索引,提问时检索相关块,只把相关块给模型。 适合的任务是问答和查证,不适合需要全局理解的任务。 缺点是切块会破坏上下文。一个跨段落的论证,被切开之后就看不完整。 第三条路径是什么? 结构化抽取。按预设的字段,从文档里逐项提取,输出成表格。 适合的任务是合同条款、报告数据、表单信息的整理。 缺点是只能提取预设字段,遇到意外内容会漏。 怎么选路径? 按任务目标选。要概览用第一条,要问答用第二条,要整理成结构化数据用第三条。 也可以组合。先用第一条了解全文,再用第二条定位细节,最后用第三条填表。 分块该怎么切? 按语义切,不按字数切。先按章节切,再在章节内按段落切,每块保留所属的章节标题。 保留标题路径很重要,它给每块提供了上下文,能显著提升检索命中率。 表格怎么处理? 单独处理,不要混在正文里。表格转成结构化数据单独索引,检索时按行列查。 混在正文里的表格,切块之后结构会丢,模型读不懂。 怎么验证效果? 建一个测试集,二十到五十个问题,每个标注答案所在的位置。 然后测两个指标:检索命中率、答案正确率。分开测,才知道该优化哪一环。 有什么常见坑? 三个。第一,扫描件没做 OCR 就直接处理,结果全是乱码。第二,页眉页脚混进正文,污染内容。第三,多栏排版的顺序错乱。 第三个最隐蔽。双栏论文按行读取,会把两栏的内容交错在一起,语义完全乱。 最后该记住什么? 长文档处理的核心不是模型能力,是预处理质量。预处理做得好,普通模型也能出好结果。 预处理做得差,最强的模型也只能给你一堆看起来通顺的错话。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 39 words · 王波

结构化输出怎么才能稳定保证

结构化输出是工程化的第一道门槛。输出不稳定,下游所有环节都要做人肉清洗,系统就跑不起来。 保证它不是靠提示词,是靠工程手段。 为什么提示词保证不了? 因为模型的输出是概率性的。你在提示词里写必须返回合法 JSON,它大概率会照做,但不会百分百。 工程上不能依赖大概率。一次失败就可能导致整个流程中断。 有哪几种工程手段? 四种:约束解码、函数调用、输出校验加重试、后处理修复。 四种的成本和可靠性不同,通常组合使用。 约束解码是什么? 在生成时限制可选 token,只允许符合语法结构的输出。这样从机制上保证格式正确。 优点是可靠,缺点是可能影响内容质量,因为强行约束会干扰模型的自然生成。 函数调用是什么? 让模型通过专门的接口输出结构化参数,而不是自由生成文本。多数厂商都支持这种方式。 优点是格式稳定,缺点是对复杂嵌套结构的支持有限。 校验重试怎么做? 流程是:生成、用 schema 校验、不合格就带上错误信息重试、最多重试几次。 关键是重试时要告诉模型错在哪,不要只是重跑。带错误信息的重试成功率会高很多。 后处理修复怎么做? 对常见的格式问题做自动修复:去掉 markdown 包裹、补全缺失的括号、修正常见的字段名拼写。 这个手段能救回一部分输出,但不能依赖。修复逻辑本身也可能出错。 该怎么组合? 建议三层。第一层用函数调用或约束解码保证基础格式。第二层用 schema 校验。第三层校验失败时带错误重试。 三层都过不了,就走降级路径:返回空结果并告警,不要硬塞一个错误的结果给下游。 有什么容易忽略的点? 三个。第一,schema 要严格,不要允许额外字段。第二,字段类型要明确,数字和字符串不能混。第三,枚举值要校验,不要接受范围外的值。 第二个最常见。模型可能把数字输出成字符串,下游计算就出错。 怎么评估稳定性? 跑一百次同样的请求,统计一次成功率、平均重试次数、最终失败率。 一次成功率低于九成,说明方案有问题,需要优化。 最后该记住什么? 结构化输出的可靠性,决定系统能不能自动化。人类可以容忍格式错误,程序不能。 把这件事当成基础设施来建,不要当成提示词技巧。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 46 words · 王波

多智能体协作在什么场景下才划算

多智能体是个很吸引人的概念:让几个角色分工协作,像团队一样完成任务。实际用起来,多数场景不如单智能体。 原因是协作有成本,而多数任务不需要协作。 协作的成本在哪? 三块。第一,通信成本,智能体之间要传信息,每次传递都有信息损失。第二,协调成本,谁先做谁后做、冲突怎么处理,都要设计。第三,调试成本,出问题时很难定位是哪个环节错了。 第三块最要命。单智能体出错,看一遍对话就能找到原因;多智能体出错,要看几条并行的链路。 什么场景适合多智能体? 三个特征:任务可分解、子任务需要不同能力、子任务之间有明确的接口。 三个都满足才划算。缺一个,单智能体加工具可能更好。 什么场景明显不适合? 三类。第一,线性任务,步骤之间有严格依赖。第二,需要全局判断的任务,拆开之后每个智能体看不到全貌。第三,实时性要求高的任务,协作会增加延迟。 第二类最容易被误用。写一份策略报告,拆成调研、分析、撰写三个角色,结果撰写的人不知道调研的取舍逻辑,写出来的东西是拼的。 拆分该怎么拆? 按能力拆,不按流程拆。按流程拆会让每个智能体只做一段,缺少全局视角。按能力拆是每个智能体负责一类判断,最后由一个角色整合。 比如拆成检索、验证、表达三类,各自独立工作,最后由表达角色整合。 怎么控制通信损失? 两个做法。第一,定义明确的结构化接口,不要传自由文本。第二,让下游能回查上游的原始材料,不只是看摘要。 第二个很关键。摘要必然丢信息,能回查原始材料才能补回来。 怎么调试? 三个手段。第一,记录每个智能体的完整输入输出。第二,给每次协作一个追踪 ID,能串起整条链路。第三,先单独测每个智能体,再测协作。 第三个最实用。单测都过不了的智能体,放进协作只会更难查。 什么时候该退回单智能体? 出现三个信号之一就该退。第一,调试时间超过开发时间。第二,协作带来的质量提升不明显。第三,维护成本持续上升。 多智能体不是更高级,是更复杂。复杂需要有对应的收益。 最后该记住什么? 多智能体的价值在于分工,不在于数量。两个真正互补的角色,比五个重复的角色有用得多。 为了显得先进而上多智能体,是最常见的浪费。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 32 words · 王波

用 n8n 搭第一个工作流的顺序

n8n 这类工具的门槛不在功能,在思路。第一次用的人很容易一上来就搭复杂流程,然后卡在某个节点上不知道怎么调。 正确的顺序是从最小闭环开始。 第一个工作流该做什么? 选一件你每天都要手动做、且步骤固定的事。比如把表单提交的内容写进表格,然后发一条通知。 不要选需要判断的事,第一版只做搬运。 为什么从搬运开始? 因为搬运的输入输出明确,容易验证。你能一眼看出对不对,不需要复杂的判断逻辑。 验证简单,学习曲线就平缓。等摸清了工具的行为,再加判断。 具体该怎么搭? 四步。第一步,加触发器,选表单提交或定时触发。第二步,加一个读取节点,拿到数据。第三步,加一个写入节点,把数据存到目标位置。第四步,加一个通知节点。 每一步单独测,跑通了再接下一步。不要一次搭完再测。 怎么调试? 三个技巧。第一,每个节点都能单独执行,用它来验证参数。第二,看节点的输入输出数据,确认数据流对不对。第三,用固定数据测试,不要用真实数据反复跑。 第二个最关键。多数问题出在字段名不匹配,看数据就能发现。 什么时候该加判断? 当搬运稳定运行一周之后。这时候你知道数据长什么样,知道有哪些例外情况。 加判断的做法是加一个条件分支节点,按字段值分流。分流之后每个分支单独处理。 什么情况该加 AI 节点? 当需要处理非结构化内容时。比如用户提交的是一段自由文本,要先提取关键信息,再写入表格。 加 AI 节点的关键是给它明确的输出格式。不要让它自由发挥,要求它返回固定字段的 JSON。 常见错误有哪些? 四个。第一,触发器重复触发,导致重复执行。第二,没做错误处理,一个节点失败整个流程停。第三,用真实数据反复测试,产生了脏数据。第四,没记日志,出问题查不到原因。 第二个最影响可用性。给关键节点加错误分支,失败时走备用路径或发告警。 怎么保证长期可用? 三个做法。第一,给流程起清楚的名字,加注释说明用途。第二,定期看执行日志,发现失败率上升就排查。第三,接口变更时同步更新节点配置。 第三条最容易忘。上游系统改了字段,流程会静默失败。 最后该记住什么? n8n 这类工具的价值在于把重复的事变成一次配置。但配置会过期,需要维护。 把它当成一个需要照看的系统,而不是设完就忘的开关。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 41 words · 王波

MCP 协议究竟解决什么问题

MCP 这两年出现频率很高,但很多解释停留在概念层。它解决的问题其实很具体:工具接入的重复劳动。 没有 MCP 之前是怎么接的? 每个模型厂商有自己的工具调用格式,每个工具提供方要针对每个厂商写一套适配。 三个模型加五个工具,理论上要写十五套适配。实际中没人这么干,所以生态起不来。 MCP 的核心是什么? 一个统一的协议,规定工具怎么描述自己、怎么被调用、怎么返回结果。 模型侧只需要支持一种协议,工具侧也只需要实现一种协议。适配数量从乘积变成加法。 它解决的是标准化问题吗? 是,但不止。它还解决了发现和权限。 标准化的工具描述让模型能自动发现有哪些工具可用;协议层的权限声明让工具能声明自己能做什么、不能做什么。 为什么它对智能体特别重要? 因为智能体的能力上限取决于它能调多少工具。工具少,只能做简单任务;工具多但接入成本高,生态起不来。 MCP 降低了接入成本,直接扩大了智能体的能力边界。 它有什么局限? 三个。第一,协议只定义通信,不定义语义。工具描述写得好不好,还是靠人。第二,不同实现的兼容性参差不齐。第三,安全和权限仍然依赖各工具自己实现。 第一个最实际。协议统一了格式,但工具描述质量差异很大,模型选错工具的问题依然存在。 企业该怎么用它? 三个场景。第一,把内部系统包装成 MCP 工具,让多个智能体共用。第二,用现成的 MCP 服务快速扩展能力。第三,做工具网关,统一管理权限和审计。 第三个对中大型企业最有价值。统一网关能做限流、能记日志、能集中管权限。 有什么风险要注意? 三个。第一,第三方 MCP 服务可能读取敏感数据。第二,工具描述可能被恶意构造,诱导模型执行不该执行的操作。第三,协议本身不保证幂等,重复调用可能造成重复操作。 第二条是新的攻击面,接入第三方工具前要做审查。 该不该现在就投入? 如果只有一个模型、两三个工具,直接写适配更简单。如果工具超过五个、模型超过两个,MCP 的收益就明显了。 判断标准是适配数量。超过一定规模,标准化就开始划算。 最后该记住什么? MCP 的价值不在技术先进,在减少重复。它的意义类似当年的 USB,不是发明了新能力,是把混乱变整齐了。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 46 words · 王波

智能体工具调用报错该怎么排查

工具调用是智能体最容易出问题的环节。报错形式五花八门,但根因通常集中在少数几类。按顺序排查,比乱试有效得多。 参数不对怎么判断? 表现是接口返回参数校验失败,或者模型传了一个不存在的字段。根因通常是工具描述写得含糊,模型靠猜。 排查动作:把工具的 schema 打印出来,逐字段检查类型、必填、枚举范围是否说清楚。特别检查日期格式、金额单位、ID 类型这些容易出错的字段。 修法是把描述写具体。不要写查询订单,要写按订单号查询订单,订单号为字符串,长度为十六位。 模型选错工具怎么发现? 表现是明明该调 A 却调了 B,或者该调工具却直接回答。根因是工具之间的边界不清楚。 排查动作:把全部工具的名字和一句话描述列出来,看看有没有两个工具的描述高度重叠。有重叠,模型就会混。 修法是合并或改名。功能相近的工具合并成一个带参数的,名字里带上区分词。 返回值解析失败怎么处理? 表现是工具返回了结果,但模型没用上,或者用错了。根因是返回结构太复杂,模型抓不住关键字段。 排查动作:看原始返回值,检查是不是嵌套太深、字段名太抽象、或者返回了模型不认识的格式。 修法是在工具层做一次扁平化,只把模型需要的字段返回,多余的去掉了再给。不要让模型做数据清洗。 多步调用状态错乱怎么排查? 表现是连续调几个工具之后,参数串了或者顺序错了。根因是没有显式的状态管理。 排查动作:把每一步的输入输出打日志,看是哪一步开始偏的。多数情况是第二步用了第一步的旧参数。 修法是把中间结果显式写进上下文,并且每步调用前校验前置条件是否满足。 超时与重试该怎么设? 表现是偶发失败,重试后成功。根因是接口慢或者网络抖动。 排查动作:统计失败率与调用时长的关系。如果失败集中在长尾耗时,就是超时设置问题。 修法是把超时按工具分别设置,慢接口给长超时,快接口给短超时。重试要加退避,并且保证幂等。 排查的通用顺序是什么? 先看日志,确认是模型的问题还是接口的问题。再看 schema,确认描述是否清楚。然后单独测工具,绕开模型直接调。最后才考虑改提示词。 跳过前三步直接改提示词,是浪费时间。大部分工具调用问题不在提示词,在接口设计和描述质量。 有什么预防性做法? 给每个工具写一个最小测试用例,在接入时跑一遍。后续每次改工具都重跑。这能挡住大部分回归问题,成本很低。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 38 words · 王波

本地部署一个 RAG 知识库的最小成本是多少

很多团队想做一个内部知识库问答,一打听报价就被劝退。其实最小可用版本的成本比想象中低得多,关键是把范围划小。 这篇算一笔实账。 最小版本需要哪几样东西? 四样:一个文档解析器、一个向量库、一个嵌入模型、一个生成模型。 文档解析器负责把 PDF、Word、网页转成纯文本。向量库负责存和检索。嵌入模型把文本变成向量。生成模型根据检索结果组织答案。 这四样都有成熟的开源方案,不需要从零写。 硬件要求是多少? 如果只用 CPU 跑嵌入,用外部 API 做生成,一台 8 核 16G 的机器就够。文档量在几千份以内,检索延迟可以控制在一秒内。 如果要全本地,包括生成模型,需要显卡。7B 级别的模型在 16G 显存的卡上能跑,量化后 8G 也能跑,但质量会下降。 钱主要花在哪? 不在硬件,在文档清洗。真实的企业文档格式混乱:扫描件、表格、多栏排版、页眉页脚混在正文里。 清洗工作量通常占总工作量的一半以上。这部分没法自动化到零,得有人看样本、写规则、反复调。 为什么很多 RAG 项目失败? 不是因为技术不行,是因为检索质量差。用户问一个问题,检索出来的段落不相关,生成模型再强也只能编。 检索差的原因通常是分块不合理。按固定字数切,会把一个完整的意思切断;按段落切,又会把跨段落的逻辑打散。 分块该怎么定? 按语义切,不按字数切。具体做法是先按标题层级切大块,再在大块内按段落切小块,每块保留所属的标题路径作为上下文。 这个做法能显著提升检索命中率,因为它保留了语义边界。代价是解析器要能识别标题层级,对格式有要求。 怎么评估效果? 建一个测试集,五十到一百个真实问题,每个问题标注应该命中的文档段落。然后算两个指标:检索命中率和答案正确率。 分开算很重要。答案错了,可能是检索没找到,也可能是找到了但生成错了。不分开就不知道该修哪。 总成本大概多少? 按一个中等规模内部知识库估算:机器成本每月几百到一千,嵌入和生成的 API 成本每月几百,人力投入前期两到四周,后期每周几小时维护。 真正的大头是人力,不是资源。这一点在立项时要说清楚,否则很容易被当成一个纯技术项目,最后没人维护。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 47 words · 王波

提示词写到什么程度算够

提示词工程这个词火了很久,现在开始降温。降温不是因为不重要,是因为大家发现投入产出比有个明显的拐点。 过了拐点再优化,收益很小;没过拐点,怎么调都不稳定。 拐点在哪? 在你能稳定复现结果的那一刻。同一个输入跑十次,八次以上得到符合预期的输出,就到了拐点。 没到这个点之前,加例子、加约束、加格式说明都是有效的。到了这个点之后,再加东西往往只是把过拟合换了个方向。 为什么加得越多越不稳定? 因为每一条指令都在争夺模型的注意力。指令之间有冲突时,模型会挑一条执行,挑哪条不确定。 十条约束里有一条被忽略,输出就废了。约束越多,被忽略的概率越高。这就是为什么有些提示词写得极细,效果反而不如写得粗的。 那该怎么写? 三条原则。第一,把必须满足的写成硬约束,数量控制在五条以内。第二,把最好满足的写成示例,让模型自己归纳。第三,把不能做的单独列出来,不要混在正面要求里。 正面要求和负面要求混在一起,模型容易只执行一半。分开写,各自的权重更清楚。 什么时候该停手? 三个信号。第一,改提示词带来的提升已经小于换模型的提升。第二,同样的问题反复出现,且每次原因不同。第三,你开始为了一个边缘案例加第五条例外规则。 出现任何一个,就该换手段了:换模型、加检索、加后处理、改流程。继续调提示词是浪费。 结构化输出该怎么保证? 不要靠提示词保证,靠校验保证。让它输出 JSON,然后用 schema 校验,不合格就重试或修正。这是工程手段,比在提示词里反复强调格式可靠得多。 提示词里写必须返回合法 JSON,模型大概率会照做,但不会百分百。工程上不能依赖大概率。 什么情况下提示词真的重要? 两种情况。一是任务本身模糊,需要模型理解意图,这时候清晰的描述能显著提升质量。二是风格控制,比如语气、长度、结构,这些只能靠提示词。 除此之外的大部分场景,提示词的作用被高估了。数据质量、检索质量、工具设计,这些的影响远大于措辞。 务实判断是什么? 把提示词当成接口设计,不是当成咒语。接口设计讲究清楚、稳定、可测。咒语讲究玄学、试错、口口相传。 前者能沉淀成资产,后者只能沉淀成经验。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 32 words · 王波

Cursor 和 Claude Code 到底该怎么分工

这两个工具经常被放在一起比,但它们的定位其实不冲突。用错的地方在于把它们当成同一类工具,然后选一个。 实际用下来,合理的做法是分工。 它们的核心差异在哪? Cursor 是编辑器,重心在改代码。它看得见你打开的文件、你的项目结构、你的光标位置。它擅长在已有代码上做局部修改、补全、重构。 Claude Code 是命令行代理,重心在跑任务。它能执行命令、读写文件、跑测试、看报错、自己迭代。它擅长把一个完整任务从头做到尾。 什么任务交给 Cursor? 三类。第一,边写边改,你需要即时反馈。第二,跨文件的小重构,比如改一个函数签名,它能把所有调用点找出来。第三,你不确定怎么写,想让它给几个方案对比。 Cursor 的优势是低摩擦。改一行代码的成本极低,适合高频小步调整。 什么任务交给 Claude Code? 三类。第一,任务边界清楚但步骤多,比如加一个接口、写一套测试。第二,需要跑起来验证,比如修构建错误。第三,批量操作,比如给几十个文件加同一段逻辑。 它的优势是能闭环。它不只是改代码,还能验证改完是对的。 为什么不能只用一个? 只用 Cursor,复杂任务会变成你不断地给它喂上下文,一次一次地手动纠正。它没有执行能力,验证得你自己做。 只用 Claude Code,日常小改会变得笨重。每次都要描述清楚、等它跑、看结果,效率不如直接在编辑器里改。 怎么配合才顺? 一个可用的流程:先用 Claude Code 做任务级的粗活,把骨架搭出来、把测试跑通;再用 Cursor 做细活,调样式、改命名、优化可读性。 反过来也行:Cursor 里先手动改出一个可用的版本,再让 Claude Code 照着这个版本批量应用。 有什么坑? 第一个坑是重复修改。两个工具同时开着改同一个文件,容易冲突。约定清楚哪段时间谁在改。 第二个坑是上下文不同步。Cursor 看到的是你打开的文件,Claude Code 看到的是整个仓库。给它俩的任务描述要分别适配。 第三个坑是过度信任。两个工具都会自信地给出错误的修改,尤其是涉及业务逻辑的地方。测试是唯一可靠的验证。 最后一条建议是什么? 不要纠结选哪个。两个都装,按任务类型切换。真正决定效率的不是工具,是你把任务拆得够不够清楚。 任务拆得清楚,哪个工具都能做;拆不清楚,再强的工具也只是帮你更快地做错。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论

2026-11-15 · 1 min · 51 words · 王波
🔗 字元科技海外论坛 · https://ziyuanagi.com/ | 📡 RSS 订阅
鲁ICP备2026018361号
📮 联系信箱:13789892969@139.com