智能体上线后出问题,最常见的场景是:用户说结果不对,你复现不出来。没有可观测性,就只能猜。

该记录什么?

第一是全链路。一次任务从输入到输出的每一步:模型调用、工具调用、中间结果、耗时、成本。

第二是版本信息。模型版本、提示词版本、工具版本、代码版本。任何一项变了,行为都可能变。

第三是上下文。给模型的实际输入是什么。很多问题出在上下文被截断或拼错。

怎么做到可回放?

把一次执行记录成结构化事件流,能按时间顺序重放。重点是能看清每一步的输入输出。

注意脱敏。日志里不能有密码、密钥、完整个人信息。回放能力不能以泄露为代价。

该看哪些指标?

第一是成功率与失败分布。失败集中在哪一类,决定了先修什么。

第二是延迟分位数。平均值好看不代表体验好,要看尾部。

第三是成本分布。哪个环节最贵,有没有异常单次消耗。

第四是工具错误率。哪个工具最不稳定,需要优先加固。

怎么定位问题?

先按任务 ID 找到整条链路。再看失败点前一步的输入是否正常。多数问题在输入,不在模型。

如果输入正常但输出错,看是否是版本变化导致。对比前后版本的同一输入,差异会很明显。

如果偶发,看是否与并发、超时、限流相关。偶发问题往往在资源层。

怎么设置告警?

按错误率告警,不按单次错误。单次错误太吵,人会关掉告警。

按成本异常告警。单位时间消耗突增,通常是死循环。

按延迟告警。尾部长延迟持续上升,说明资源或上游有问题。

常见的缺失是什么?

只记最终结果,不记中间步骤。出问题无法定位。

只记成功,不记失败。失败样本才是改进的依据。

不记录版本。改了提示词没记,问题出现后无法对比。

最后一句:可观测性不是加日志,是让问题能被复现。能复现,才谈得上修。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论