智能体出问题,第一反应是看日志。但多数企业的日志记了太多没用的,缺了最关键的三样。日志该记什么,按排查场景倒推。
排查时最想知道什么?
四个问题。
第一,这次调用输入了什么?第二,系统做了什么判断?第三,输出是什么?第四,为什么是这个输出?
四个问题对应四类日志:输入日志、决策日志、输出日志、依据日志。
多数系统只记了输入和输出,中间两层缺失,出问题只能猜。
输入日志记什么?
原始输入、预处理后的输入、上下文。
原始输入要完整保存,包括用户原话、附件、参数。
预处理后的输入是实际送进模型的版本。这一层很关键,因为很多问题出在预处理:截断、编码错误、字段丢失。
上下文包括检索到的文档、调用的工具、会话历史。出问题时能看出是不是检索错了。
决策日志记什么?
三个东西。路由决策、工具调用、置信度。
路由决策是选了哪个模型、哪个提示、哪条规则。
工具调用是调了哪个接口、参数是什么、返回什么。这是排查外部依赖问题的关键。
置信度是模型给出的把握程度。低置信度的输出要重点看。
输出日志记什么?
最终输出、中间输出、被拦截的输出。
中间输出指多步任务里每一步的结果。最终结果错了,往往中间某一步就错了。
被拦截的输出要单独记,包括拦截原因。这能反映系统的边界在哪。
依据日志记什么?
来源文档、段落位置、匹配分数。
每条结论要能追溯到原始出处。这对知识库类应用尤其重要,因为错误往往来自检索到过期文档。
匹配分数能看出检索质量:分数低但被采用,说明阈值设得太松。
还该记什么?
五个辅助字段。时间戳、调用方身份、会话标识、耗时、消耗。
时间戳用于对齐其他系统日志。调用方身份用于追责和限流。会话标识用于串起多轮。耗时用于性能分析。消耗用于成本核算。
日志怎么管?
第一,分级。常规调用记摘要,异常调用记全量。
第二,脱敏。个人信息、密钥、业务敏感数据,入库前脱敏。
第三,留存。常规日志留存三个月,异常日志留存一年。
第四,可查。支持按会话、按时间、按错误类型检索。
常见问题?
第一,日志太多。全量记录导致存储成本高、检索慢。
第二,日志太少。只记结果,中间过程缺失。
第三,格式不统一。每个模块自己一套格式,无法关联。
第四,没人看。日志存了但从不分析,等于没存。
日志的价值在排查时体现。平时多记一层,出问题时少猜一天。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论