本地跑 Whisper 做转写,装起来不难,难在选对模型和参数,否则速度和准确率都不理想。

模型该怎么选?

模型分多个尺寸,从极小到极大。尺寸越大越准,也越慢、越吃显存。

日常会议录音,中等尺寸就够用。口音重、背景噪、专业术语多,再往上选。不要一上来就用最大模型,速度会让你放弃。

还有一个折中做法:先用小模型跑一遍看效果,不行再换大的。省时间。

硬件上要注意什么?

有独显就用 GPU,速度差别很大。显存不足时会退回 CPU,速度慢十倍以上。

CPU 模式也能用,但要接受等待。长录音建议分段处理,避免一次跑几小时。

参数怎么调?

语言要指定。自动检测在短句上容易误判,指定语言更稳。

开启时间戳。后面做字幕、定位原话、核对争议,全靠时间戳。

标点要开。没有标点的转写几乎不可读,尤其是长段落。

怎么提高准确率?

第一,给术语表。人名、产品名、缩写提前给,能显著降低错字。

第二,预处理音频。降噪、统一采样率、去掉静音段,效果会好很多。

第三,分段处理。长录音按静音切分,每段几分钟,准确率和稳定性都会提升。

怎么做说话人分离?

Whisper 本身不做分离,需要额外的分离工具配合。没有分离,多人会议无法归属发言。

如果暂时没有分离工具,可以在会后按内容人工归属。虽然慢,但比错归要好。

输出格式怎么选?

要字幕就输出带时间轴的字幕格式。要整理就输出纯文本加时间戳。要归档就保留原始音频与转写两份。

常见问题怎么处理?

转写出现重复句子,通常是音频有循环或模型在 silence 段发散。切开重跑即可。

时间戳错位,通常是采样率不对。统一到标准采样率再跑。

最后一句:转写质量的上限由音频质量决定。录音源头上做好,后面省一半功夫。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论