Whisper

做内容分析、课程整理、或者把播客变成可检索文档时，第一步总是绕不开「把视频里的话变成文字」。找在线服务又慢又要传文件，其实本地两条开源命令就能搞定：yt-dlp 负责下载，faster-whisper 负责转写。这条流水线完全离线，数据不流出机器。 两步走 第一步，下载音频。yt-dlp -x --audio-format mp3 <视频地址> -o input.mp3——直接抽音频轨，比下完整视频再转码快得多。 第二步，转写。faster-whisper 是 OpenAI Whisper 的加速重实现，pip install faster-whisper 之后，用 faster-whisper input.mp3 --model large-v3 --output_format srt，它会按时间轴吐出 .srt 字幕文件，带每句话的起止时间。 有 GPU 就指定 --device cuda，一段半小时的播客几分钟就能转完。没有 GPU 用 CPU 也能跑，只是慢些，模型选 small 或 medium 平衡速度与准确率。 怎么再往上叠 拿到带时间轴的文字稿，后面能接的就多了：按时间戳切分喂给 RAG 做知识问答、让模型提取摘要和待办、或者把字幕对齐双语翻译。转写只是入口，文字稿才是原料。 判断 视频是最不结构化的信息载体，转写工具的价值就是把它变成可检索、可分析的文本。在大模型都能看视频的 2026 年，这套本地流水线依然有它的位置：便宜、离线、可复现。要批量处理一批内部会议录像，这是最省事的起点。 补两个提升准确率的细节。第一，转写时给提示词传入上下文——比如专业术语、人名，faster-whisper 支持初始提示，能显著减少同音错字。第二，中英文混读的视频，指定语言检测比让它自动猜更稳；自动猜在中英夹杂时容易整段判错语种，输出一堆乱码。拿到字幕后，再用一个大模型做标点与分段后处理，可读性会再上一个台阶。 把视频转成带时间轴的文字稿，它才从「只能看」变成「能检索、能分析」的资产；后续做知识库、做摘要、做多语翻译，都建立在这层干净的转写之上，一步先通，后面才能节节顺。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：视频字幕

字幕是视频内容触达全球观众的关键。2026 年，AI 字幕生成技术已经能够实现：98% 准确率的语音识别、毫秒级实时翻译、支持 100+ 语言的字幕生成。本文将全面解析 AI 字幕生成的技术方案和最佳实践。 一、AI 字幕生成技术栈 核心技术组件 音频输入 ↓ ┌────────────────────────────────────┐ │ AI 字幕生成引擎 │ │ │ │ 1. 语音识别（ASR） │ │ └── Whisper 3 / GPT-4o Audio │ │ │ │ 2. 说话人分离（Diarization） │ │ └── Pyannote Audio │ │ │ │ 3. 时间轴对齐 │ │ └── Forced Alignment │ │ │ │ 4. 文本翻译（可选） │ │ └── GPT-4o / NLLB-200 │ │ │ │ 5. 字幕生成与格式化 │ │ └── SRT / VTT / ASS │ │ │ │ 6. 后处理优化 │ │ ├── 标点恢复 │ │ ├── 断句优化 │ │ └── 专业术语纠正 │ └────────────────────────────────────┘ ↓ 字幕文件（多格式、多语言） 2026 主流工具对比 工具 准确率 语言数 实时性 开源 价格 Whisper 3 98% 100+ ✅ ✅ 免费（自部署） GPT-4o Audio 97% 50+ ✅ ❌ $0.006/分钟 Azure Speech 96% 140+ ✅ ❌ $1/小时 Google Cloud Speech 95% 125+ ✅ ❌ $0.006/分钟 讯飞听见 96% 10+ ✅ ❌ ¥15/小时 二、Whisper 3 深度解析 Whisper 3 技术突破 维度 Whisper 2 Whisper 3 提升 中文准确率 91% 98% +7% 英文准确率 95% 98.5% +3.5% 低资源语言准确率 70% 85% +15% 推理速度 1x 3x 3倍 最大音频长度 30min 无限 - 实时流式 ❌ ✅ - 说话人分离 ❌ ✅ - 基础使用 import whisper from whisper import load_model # 加载模型（large-v3 为最新） model = whisper.load_model("large-v3") # 离线识别 result = model.transcribe( "video.mp4", language="zh", task="transcribe", verbose=True ) # 提取字幕 for segment in result["segments"]: print(f"[{segment['start']:.2f} - {segment['end']:.2f}] " f"{segment['text']}") 实时字幕生成 import whisper import queue import threading import pyaudio class RealtimeSubtitle: """实时字幕生成""" def __init__(self, model_size="medium"): self.model = whisper.load_model(model_size) self.audio_queue = queue.Queue() self.is_running = False def start(self, language="zh"): """启动实时字幕""" self.is_running = True # 启动音频采集线程 audio_thread = threading.Thread( target=self._capture_audio ) audio_thread.start() # 启动转录线程 transcribe_thread = threading.Thread( target=self._transcribe_loop, args=(language,) ) transcribe_thread.start() def _capture_audio(self): """采集音频""" CHUNK = 1024 FORMAT = pyaudio.paInt16 CHANNELS = 1 RATE = 16000 p = pyaudio.PyAudio() stream = p.open( format=FORMAT, channels=CHANNELS, rate=RATE, input=True, frames_per_buffer=CHUNK ) buffer = [] buffer_duration = 0 buffer_max = 10 # 10秒缓冲 while self.is_running: data = stream.read(CHUNK) buffer.append(data) buffer_duration += CHUNK / RATE if buffer_duration >= buffer_max: audio_data = b"".join(buffer) self.audio_queue.put(audio_data) buffer = [] buffer_duration = 0 stream.stop_stream() stream.close() p.terminate() def _transcribe_loop(self, language): """转录循环""" while self.is_running: try: audio_data = self.audio_queue.get(timeout=1) # Whisper 转录 result = self.model.transcribe( audio_data, language=language, task="transcribe" ) # 输出字幕 for segment in result["segments"]: print(f"字幕：{segment['text']}") except queue.Empty: continue def stop(self): """停止""" self.is_running = False 说话人分离 from pyannote.audio import Pipeline import whisper class SpeakerDiarization: """说话人分离 + 字幕生成""" def __init__(self, whisper_model="large-v3"): self.whisper = whisper.load_model(whisper_model) self.diarization = Pipeline.from_pretrained( "pyannote/speaker-diarization-3.1" ) def process(self, audio_path, num_speakers=None): """处理音频，生成带说话人标记的字幕""" # 1. Whisper 转录 transcript = self.whisper.transcribe(audio_path) # 2. Pyannote 说话人分离 diarization = self.diarization( audio_path, num_speakers=num_speakers ) # 3. 对齐说话人和字幕 subtitles = [] for segment in transcript["segments"]: start = segment["start"] end = segment["end"] text = segment["text"] # 找到对应时间段的说话人 speaker = self._find_speaker(diarization, start, end) subtitles.append({ "start": start, "end": end, "text": text, "speaker": speaker }) return subtitles def _find_speaker(self, diarization, start, end): """根据时间找说话人""" mid = (start + end) / 2 for turn, _, speaker in diarization.itertracks(yield_label=True): if turn.start <= mid <= turn.end: return speaker return "Unknown" 三、多语言翻译字幕 方案选择 方案 语言数 质量 速度 成本 GPT-4o 翻译 50+ 9/10 中 $0.01/分钟 NLLB-200 200+ 8/10 快 免费（自部署） DeepL API 31 9/10 快 €4.99/月 Google Translate 130+ 7/10 快 $20/百万字符 GPT-4o 翻译工作流 from openai import OpenAI import whisper class MultilingualSubtitle: """多语言字幕生成""" def __init__(self): self.client = OpenAI() self.whisper = whisper.load_model("large-v3") async def generate( self, audio_path, source_lang="zh", target_langs=["en", "ja", "ko"] ): """生成多语言字幕""" # 1. 语音识别 transcript = self.whisper.transcribe( audio_path, language=source_lang ) # 2. 提取文本段落 segments = transcript["segments"] # 3. 批量翻译 translations = {} for target_lang in target_langs: translated_segments = await self._translate_segments( segments, source_lang, target_lang ) translations[target_lang] = translated_segments # 4. 生成 SRT 文件 subtitles = {} for lang, segs in translations.items(): srt = self._generate_srt(segs) subtitles[lang] = srt return subtitles async def _translate_segments( self, segments, source_lang, target_lang ): """翻译字幕段落""" translated = [] # 批量翻译（提升效率） batch_size = 20 for i in range(0, len(segments), batch_size): batch = segments[i:i+batch_size] texts = [s["text"] for s in batch] # GPT-4o 翻译 response = await self.client.chat.completions.acreate( model="gpt-4o", messages=[{ "role": "user", "content": f""" 将以下字幕翻译为{target_lang}。 保持简洁、口语化。 每行一条字幕，不要添加编号。 原文字幕： {chr(10).join(texts)} """ }] ) translated_texts = response.choices[0].message.content.split("\n") for j, seg in enumerate(batch): if j < len(translated_texts): translated.append({ "start": seg["start"], "end": seg["end"], "text": translated_texts[j] }) return translated def _generate_srt(self, segments): """生成 SRT 格式""" lines = [] for i, seg in enumerate(segments, 1): start = self._format_time(seg["start"]) end = self._format_time(seg["end"]) lines.append(f"{i}") lines.append(f"{start} --> {end}") lines.append(seg["text"]) lines.append("") return "\n".join(lines) def _format_time(self, seconds): """格式化时间""" hours = int(seconds // 3600) minutes = int((seconds % 3600) // 60) secs = int(seconds % 60) millis = int((seconds % 1) * 1000) return f"{hours:02d}:{minutes:02d}:{secs:02d},{millis:03d}" 四、字幕优化技巧 断句优化 class SubtitleOptimizer: """字幕优化器""" def optimize_breaks(self, segments, max_chars=42): """优化断句，确保每行字数合理""" optimized = [] for seg in segments: text = seg["text"] # 如果字数超过限制，重新断句 if len(text) > max_chars: # 使用 GPT 重新断句 new_segments = self._smart_break( seg["start"], seg["end"], text, max_chars ) optimized.extend(new_segments) else: optimized.append(seg) return optimized def _smart_break(self, start, end, text, max_chars): """智能断句""" # 计算每个字符的平均时长 char_duration = (end - start) / len(text) # 找到合适的断句点 breaks = [] current_start = 0 while current_start < len(text): # 寻找最近的标点或空格 next_break = min(current_start + max_chars, len(text)) # 向后查找标点 for i in range(next_break, min(next_break + 10, len(text))): if text[i] in "，。！？,.!?": next_break = i + 1 break segment_text = text[current_start:next_break].strip() if segment_text: segment_start = start + current_start * char_duration segment_end = start + next_break * char_duration breaks.append({ "start": segment_start, "end": segment_end, "text": segment_text }) current_start = next_break return breaks 专业术语纠正 class TermCorrector: """专业术语纠正""" def __init__(self, domain="tech"): self.terminology = self._load_terminology(domain) def correct(self, text): """纠正专业术语""" # 使用 GPT-4o 进行上下文感知的纠正 response = self.client.chat.completions.create( model="gpt-4o-mini", messages=[{ "role": "user", "content": f""" 纠正以下字幕中的专业术语错误。 只输出纠正后的文本，不要解释。 字幕：{text} """ }] ) return response.choices[0].message.content 五、字幕格式与工具 常见字幕格式 格式 扩展名 特点 适用平台 SRT .srt 最通用，简单 YouTube, B站, 播放器 VTT .vtt Web 标准 HTML5, 网页播放器 ASS .ass 支持样式 B站, 专业字幕组 TTML .ttml 广播级标准 广播电视 SMI .smi 韩国常用 韩国平台 格式转换 class SubtitleConverter: """字幕格式转换""" def srt_to_vtt(self, srt_content): """SRT 转 VTT""" lines = ["WEBVTT", ""] for block in srt_content.strip().split("\n\n"): parts = block.split("\n") if len(parts) >= 3: # 时间轴转换（, → .） time_line = parts[1].replace(",", ".") text = "\n".join(parts[2:]) lines.append(time_line) lines.append(text) lines.append("") return "\n".join(lines) def srt_to_ass(self, srt_content, style="Default"): """SRT 转 ASS""" header = """[Script Info] Title: AI Generated Subtitle ScriptType: v4.00+ PlayResX: 1920 PlayResY: 1080 [V4+ Styles] Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding Style: Default,Microsoft YaHei,60,&H00FFFFFF,&H000000FF,&H00000000,&H00000000,0,0,0,0,100,100,0,0,1,2,0,2,10,10,10,1 [Events] Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text """ events = [] for block in srt_content.strip().split("\n\n"): parts = block.split("\n") if len(parts) >= 3: time_line = parts[1] start, end = time_line.split(" --> ") text = "\\N".join(parts[2:]) # 转换时间格式 start_ass = self._srt_to_ass_time(start) end_ass = self._srt_to_ass_time(end) events.append( f"Dialogue: 0,{start_ass},{end_ass},{style},,0,0,0,,{text}" ) return header + "\n".join(events) 六、性能与成本 处理速度 模型 硬件 速度（1小时音频） Whisper 3 Large RTX 4090 ~3 分钟 Whisper 3 Medium RTX 3060 ~5 分钟 Whisper 3 Small CPU 16核 ~15 分钟 GPT-4o Audio API ~2 分钟 成本分析 方案 1小时视频成本 Whisper 自部署 ¥0（仅电费） GPT-4o Audio API $0.36（约¥2.6） Azure Speech $1（约¥7.2） 讯飞听见 ¥15 七、最佳实践 1. 音频预处理 # 降噪 + 音量归一化 def preprocess_audio(input_path, output_path): import librosa import soundfile as sf # 加载 y, sr = librosa.load(input_path, sr=16000) # 降噪（使用 DeepFilterNet 或 noisereduce） y_denoised = librosa.effects.preemphasis(y) # 音量归一化 y_normalized = librosa.util.normalize(y_denoised) # 保存 sf.write(output_path, y_normalized, sr) 2. 后处理优化 标点恢复：使用 BERT 等模型恢复标点 敏感词过滤：关键词屏蔽 命名实体识别：确保人名、地名正确 3. 质量验证 def validate_subtitle(segments): """验证字幕质量""" issues = [] for i, seg in enumerate(segments): # 1. 时长检查 duration = seg["end"] - seg["start"] if duration < 1: issues.append(f"段落 {i+1} 时长过短（{duration:.2f}s）") elif duration > 7: issues.append(f"段落 {i+1} 时长过长（{duration:.2f}s）") # 2. 字数检查 char_count = len(seg["text"]) if char_count > 50: issues.append(f"段落 {i+1} 字数过多（{char_count}字）") # 3. 空白检查 if not seg["text"].strip(): issues.append(f"段落 {i+1} 为空白") return issues 八、总结 2026 年的 AI 字幕生成已经达到"开箱即用"的水平。Whisper 3 提供了免费、高质量、多语言的语音识别，配合 GPT-4o 翻译可以轻松生成多语言字幕。 ...