本地跑模型做工具调用,最常见的故障是:模型不动手,直接返回一句空话,或者干脆输出空字符串。看着像模型笨,多数时候是格式没对上。

为什么会返回空?

三个原因。第一,工具描述没注入到对话模板里。第二,模型输出的工具调用格式和解析器不匹配。第三,停止符设置错误,生成被提前截断。

三个里第一个最常见。模板没带工具段,模型根本不知道有工具可用。

怎么确认是模板问题?

把实际送进模型的完整 prompt 打印出来。看两件事:有没有工具定义段,工具段的位置对不对。

位置很关键。有些模板要求工具定义放在系统段末尾,放错位置模型会忽略。

格式不匹配怎么查?

对照模型卡片的示例输出。特别注意三点:函数名的包裹方式、参数是 JSON 还是键值对、结束标记是什么。

解析器按一种格式写,模型按另一种输出,结果就是解析失败,然后返回空。

停止符为什么会截断?

因为工具调用的 JSON 里可能包含和停止符相同的字符序列。一遇到就停,JSON 断在半截,解析自然失败。

解决办法是把停止符收窄,只匹配完整结束标记,不要匹配单个括号。

修的顺序是什么?

第一步,打印 prompt,确认工具段存在。第二步,用官方示例跑一次,确认格式。第三步,检查停止符。第四步,检查解析器的容错。

四步按顺序来,别跳。跳步的结果是反复改配置,越改越乱。

怎么防复发?

建一个最小回归集:五个典型调用,每次改配置都跑一遍。通过率不到五成,说明改动有问题。

这个回归集比任何文档都有用,因为它是可执行的。

本地工具调用的价值在哪?

在于可控。模型、模板、解析器全在自己手里,出问题能一层层剥开查。

云端 API 出问题只能等,本地出问题能修。这就是很多人坚持本地部署的原因。

工具调用失败,九成不是模型能力问题,是链路某一段没对齐。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论