公开榜单越来越不可信,因为训练数据可能覆盖了题目。要做选型决策,得有自己的评测集。
搭一套不难,难在坚持维护。
第一步该做什么?
定义任务。不要做通用评测,做你业务里的具体任务。
比如客服问答、合同条款抽取、商品标题生成。每个任务单独一套题。
测试集怎么建?
三个来源。第一,真实历史数据,最有价值。第二,人工构造的边界案例。第三,线上 badcase 的沉淀。
规模建议每个任务五十到两百条。太少结论不稳,太多维护成本高。
标准答案怎么定?
分两类。客观题有唯一答案,比如抽取某个字段。主观题需要评分标准,比如文案质量的几个维度。
主观题建议三人独立打分,取平均,分歧大的单独讨论。
怎么跑评测?
三步。第一,固定提示词和环境,所有模型用同一套。第二,批量执行,记录原始输出。第三,评分,客观题自动判,主观题人工。
第一步最关键。提示词不同,比出来的结果没有意义。
怎么算成本?
三个维度。第一,单次调用成本。第二,达到可用质量需要的重试次数。第三,人工复核的工作量。
第二个最容易被忽略。一个准确率高但格式不稳定的模型,实际成本可能更高。
怎么保证评测有效?
三个原则。第一,测试集不泄露给模型厂商。第二,定期更新题目,防止过拟合。第三,保留历史结果,能看趋势。
第二条很重要。同一套题用一年,模型可能已经针对性优化过。
怎么维护?
三个动作。第一,每季度加二十条新题,来自最近的 badcase。第二,淘汰过时的题。第三,记录每次评测的结论和决策。
第三个能避免重复踩坑。半年前测过的模型,结论可能还有参考价值。
有什么常见错误?
四个。第一,用公开榜单的题目,测不出真实能力。第二,样本太少,一两条差异就下结论。第三,只测准确率,不测成本和延迟。第四,测完不记录,下次重新来。
第四个最浪费。评测的价值在于积累,不做记录就白做。
最后该记住什么?
自建评测集是选型的基础设施。建一次,能用很久,而且越用越准。
不愿意建评测集的团队,只能跟着别人的结论走,永远慢一步。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论