本地跑 Whisper 做转写,装起来不难,难在选对模型和参数,否则速度和准确率都不理想。
模型该怎么选?
模型分多个尺寸,从极小到极大。尺寸越大越准,也越慢、越吃显存。
日常会议录音,中等尺寸就够用。口音重、背景噪、专业术语多,再往上选。不要一上来就用最大模型,速度会让你放弃。
还有一个折中做法:先用小模型跑一遍看效果,不行再换大的。省时间。
硬件上要注意什么?
有独显就用 GPU,速度差别很大。显存不足时会退回 CPU,速度慢十倍以上。
CPU 模式也能用,但要接受等待。长录音建议分段处理,避免一次跑几小时。
参数怎么调?
语言要指定。自动检测在短句上容易误判,指定语言更稳。
开启时间戳。后面做字幕、定位原话、核对争议,全靠时间戳。
标点要开。没有标点的转写几乎不可读,尤其是长段落。
怎么提高准确率?
第一,给术语表。人名、产品名、缩写提前给,能显著降低错字。
第二,预处理音频。降噪、统一采样率、去掉静音段,效果会好很多。
第三,分段处理。长录音按静音切分,每段几分钟,准确率和稳定性都会提升。
怎么做说话人分离?
Whisper 本身不做分离,需要额外的分离工具配合。没有分离,多人会议无法归属发言。
如果暂时没有分离工具,可以在会后按内容人工归属。虽然慢,但比错归要好。
输出格式怎么选?
要字幕就输出带时间轴的字幕格式。要整理就输出纯文本加时间戳。要归档就保留原始音频与转写两份。
常见问题怎么处理?
转写出现重复句子,通常是音频有循环或模型在 silence 段发散。切开重跑即可。
时间戳错位,通常是采样率不对。统一到标准采样率再跑。
最后一句:转写质量的上限由音频质量决定。录音源头上做好,后面省一半功夫。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论