Whisper

Whisper 是 OpenAI 开源的通用语音识别模型，代码与权重托管在 github.com/openai/whisper。它做三件事：把语音转成文字、把语音翻译成另一种语言、判断这段音频说的是哪种语言。模型本身支持中文，代码与说明文档则是英文。

模型按体量分成六档——tiny、base、small、medium、large 与 turbo，体积与精度递增，turbo 偏速度取向。MIT 协议意味着代码与权重可以商用与二次分发，配合 pip 安装与 ffmpeg 依赖，十几行脚本就能接进自己的转写流程。

在 AI音频 分类里，Whisper 属于「自建转写底座」：和 讯飞听见、通义听悟 这类在线服务不同，它不按分钟计费、不上传音频，代价是你要自己备算力与运维。

• 大陆网络：模型与代码托管在境外平台，国内访问需自备国际网络
• 代码与论文为英文，模型本身支持中文语音识别
• 开源项目无需注册，下载即用
• 代码与权重以 MIT 协议开源，本地部署无订阅费

• 多语言语音转文字
• 识别后直接翻译成目标语言
• 自动判别语种再转写
• 六档模型按算力选型
• MIT 协议，代码与权重可商用
• pip 安装即可接进脚本
• 离线运行，音频不出本机

1. 准备环境：装好 Python 与 ffmpeg，ffmpeg 负责解码音频，缺它会直接报错。
2. 安装模型：用 pip 安装 openai-whisper，或克隆仓库按说明配置依赖。
3. 选档位：先用 tiny 跑通链路，确认无误再换 large 或 turbo 提精度。
4. 批量转写：写脚本遍历音频目录，输出文本或字幕文件，中途用参数控制输出格式。
5. 后处理：长音频自行切片，识别后做分段对齐、标点与说话人标注。

建议先用 tiny 档把整条链路走通、确认切片与后处理逻辑，再换大模型提精度；上来就上大模型，吃亏的是显存与等待时间。

优点

• 开源可商用，落地无授权顾虑
• 离线跑，敏感音频不出门
• 中文与多语种表现均衡
• 生态成熟，教程与衍生项目多
• 按需换模型档位，成本可控

局限

• 代码与论文为英文，文档要靠英文底子
• 依赖 ffmpeg 等系统组件
• 大模型对显卡有要求
• 长音频切分与后处理需自己写

• 场景一：会议录音转文字稿：把录音批量丢进脚本，输出带时间戳的文本，再人工整理成会议纪要。
• 场景二：外语内容翻译转写：识别英文音频的同时直接翻译成中文，拿到的是中文稿而不是原声转写。
• 场景三：视频字幕：对成片音轨转写，输出字幕格式文件，再校对时间轴与专有名词。
• 场景四：私有化转写服务：在内网机器上跑起来，音频不出门，对合规敏感的场景友好。

这四种用法的共同点在于「先把链路跑通再谈精度」：Whisper 的价值在可控与自由，选对档位、做好后处理，比一味换大模型更实用。

区分它们的关键是「转写任务跑在哪里」：Whisper 跑在你自己控制的机器上，长期批量转写时成本结构最干净；讯飞听见与通义听悟省心但按量计费；Descript 更偏剪辑工作流，转写只是其中一环。

MIT 协议开源，本地部署免费；算力成本自理

价格与档位可能随时调整，以上信息以官网为准。

• 会议录音批量转文字稿
• 视频字幕生成与校对
• 外语访谈转中文摘要
• 私有化转写服务搭建

以下工具与 Whisper 在场景上有交集或重叠，可一并比较：