中英混说语音识别：我们的评测
我们用 Vocco 实际下载的模型版本，在 300 句真实的普通话–英文混说对话上跑了一遍。这一页给出数字、测试方法，以及每个引擎还会在哪里出错。
结果：Vocco 默认下载的 Qwen3 ASR 总混合错误率最低：0.157，约每 100 个字或词错 16 个。同为 Vocco 引擎的 Paraformer 紧随其后，0.170，在真正中英混说的句子上还略好一点，两者差距在误差范围内。苹果本机识别的中文最好，但英文词错了一半以上。Whisper large-v3-turbo 落后于以上所有引擎。
结果
ASCEND 测试集前 300 句。错误率越低越好。RTF 是处理时间除以音频时长（Apple M5 Pro，CPU 4 线程），小于 1 表示比实时快。
| 引擎 | MER | 中文字错误率 | 英文词错误率 | RTF |
|---|---|---|---|---|
| Qwen3 ASR 0.6B int8（Vocco 默认） | 0.157 | 0.111 | 0.287 | 0.088 |
| Paraformer Large | 0.170 | 0.105 | 0.349 | 0.011 |
| SenseVoice Small | 0.185 | 0.128 | 0.347 | 0.014 |
| 苹果本机识别，zh-CN（基线） | 0.207 | 0.093 | 0.526 | 0.042 |
| Whisper large-v3-turbo，自动识别语种* | 0.277 | 0.244 | 0.371 | – |
| Whisper large-v3-turbo，语种固定为中文* | 0.373 | 0.263 | 0.682 | – |
MER 的 95% bootstrap 区间（重采样 10,000 次）：Qwen3 0.134–0.182，Paraformer 0.146–0.195，SenseVoice 0.161–0.212，苹果 0.179–0.236。Qwen3 与 Paraformer 之间 0.013 的差距在统计上不显著；Qwen3 领先 SenseVoice 是显著的。*Whisper 两行来自我们 2026 年 7 月在同样 300 句上的运行（WhisperKit，神经网络引擎），这次没有重跑。Vocco 里的 Whisper 语种跟随界面语言固定，所以中文界面下适用第二行。我们 7 月写的 Qwen3 成绩是 0.152，那是全精度参考模型；Vocco 实际下载的 int8 版本是 0.157（用 1.0.5 起内置的库是 0.158，见「方法」）。
按句子类型
300 句里纯中文 155 句、纯英文 83 句、中英混说 62 句。各子集的 MER：
| 引擎 | 纯中文（155） | 纯英文（83） | 中英混说（62） |
|---|---|---|---|
| Qwen3 ASR int8 | 0.094 | 0.275 | 0.170 |
| Paraformer Large | 0.102 | 0.365 | 0.145 |
| SenseVoice Small | 0.131 | 0.312 | 0.184 |
| 苹果本机识别，zh-CN | 0.093 | 0.461 | 0.207 |
| Whisper large-v3-turbo（自动语种）* | 0.274 | 0.362 | 0.232 |
Qwen3 的领先主要来自英文：纯英文句子上它比 Paraformer 低 0.089，差距显著。真正中英混说的句子上 Paraformer 更好（不显著），部分原因是 Qwen3 偶尔会把整句混说翻译成英文，或者输出成别的文字，见下面前几个例子。苹果本机识别在纯中文上和最好的引擎不相上下，英文最弱。
引擎会在哪里出错
以下是测试集里的真实句子。参考文本是实际说的话，输出未做任何修改。
测试方法
测试集
ASCEND（港科大，LREC 2022）是自然对话形式的普通话–英文混说语料，共 10.6 小时、23 位说话人，短句和语气词很多。我们取测试集按原始顺序的前 300 句，没有挑选：参考共 2,070 个 token，其中中文字 1,526 个、英文词 544 个。ASCEND 采用 CC BY-SA 4.0 许可。
指标
混合错误率（MER）：中文按字、英文按词，在同一次编辑距离对齐里计分。同一次对齐还能拆出中文字错误率（CER）和英文词错误率（WER），看出引擎丢的是哪一半。打分前，参考和输出用同样的方式归一化：繁体转简体、全角转半角、转小写、去标点。只罚识别错误，不罚书写习惯。数字没有做归一化，“3”和“three”对所有引擎都算错。
引擎与模型版本
| 引擎 | 模型文件 | 运行方式 |
|---|---|---|
| Qwen3 ASR 0.6B | jkman2023/sherpa-onnx-qwen3-asr-0.6B-int8-2026-03-25: conv_frontend.onnx, encoder.int8.onnx, decoder.int8.onnx, tokenizer/ | sherpa-onnx 1.13.4 C 接口 + onnxruntime 1.24.4，即 Vocco 1.0.4 内置的库（评测时的线上版本；1.0.5 起的情况见下文）；CPU 4 线程，贪心解码，max_new_tokens 512 |
| SenseVoice Small | pengzhendong/sherpa-onnx-sense-voice-zh-en-ja-ko-yue: model.onnx, tokens.txt | 同上；语种自动，开启逆文本归一化 |
| Paraformer Large | pengzhendong/sherpa-onnx-paraformer-zh: model.onnx, tokens.txt | 同上；跳过 Vocco 的标点模型，因为打分前会去掉标点 |
| 苹果（基线） | 系统语音模型，zh-CN | macOS 26 的 SpeechTranscriber 接口，本机运行 |
| Whisper large-v3-turbo | openai_whisper-large-v3-v20240930_turbo (WhisperKit CoreML) | WhisperKit，神经网络引擎，2026 年 7 月 |
每个模型文件的 SHA-256 都和模型仓库核对过。用已安装的 Vocco 1.0.4 里的库重跑 Qwen3，300 句输出完全一致。如果改用 PyPI 上的 sherpa-onnx wheel，Qwen3 是 0.159：int8 模型的输出会随运行库版本略有变化，SenseVoice 和 Paraformer 不受影响。
Vocco 1.0.5 起内置的是 onnxruntime 1.27.0（修掉了说话人分离的内存泄漏）。我们 2026 年 10 月 27 日用这套库重跑了同样的 300 句：Paraformer 和 SenseVoice 300 句输出完全相同；Qwen3 int8 有 73 句不同，混合错误率 0.158（中文字错误率 0.113、英文词错误率 0.285），比上表差 0.0014，95% 区间 −0.009 到 +0.013，不算真实差异，排名不变。本页的表格、例句和仓库里的文件都来自 10 月 22 日那次运行。
苹果这一行是对照基线，不是 Vocco App 里的运行方式。Vocco 的 Apple Speech 选项用的是较早的 SFSpeechRecognizer 接口，命令行工具没法不弹窗就拿到权限。SpeechTranscriber 是苹果最新的本机语音转文字接口，但它不等于系统的“听写”功能本身。
硬件与软件
2026 年 10 月 22 日。Apple M5 Pro（18 核），48 GB 内存，macOS 26.6.2，接电源。每句整段解码、逐句进行，先做一次不计时的预热。打分用的 mer.py 和 normalize.py 与 7 月那次完全相同（自检 16 项全过）。300 句的 ID、参考文本、每个引擎的输出和脚本都公开在 github.com/leemingynng-create/vocco-asr-benchmark，一条命令就能复现。
这次测试的局限
- 只有一个语料。ASCEND 在香港录制，是随意的聊天，所以绝对错误率比清晰朗读的语音高。请拿引擎之间做比较，不要把这些数字当成你自己说话时的准确率。
- 300 句全部来自 ASCEND 的同一场对话、两位说话人，其中 77 句是“嗯”“好的”这类一两个字的语气词，7 句参考文本含未知词标记，所有引擎都会算错。这足够给引擎排序，但上面的区间低估了换一批语音时数字的波动；相近引擎之间一两个点的差距在误差范围内。
- 每句都是整段解码。App 里的实时和文件转录会把音频切成最长约 11 秒的窗口，这条路径没有测。这里的句子最长 10.4 秒。
- 我们测的是 Vocco 内置的引擎，没有测其他 App。云端 App 没法在固定的离线测试集上用同样的方式跑。
- 单语言结果另外测过（2026 年 8 月，用的是参考模型权重，不是 App 里的 int8 版本）：FLEURS 测试集每种语言 60 句，Qwen3 ASR 日语字错误率 9.6%、韩语字错误率 4.0%、法语词错误率 8.5%；Whisper large-v3-turbo 分别是 5.4%、3.6% 和 5.9%。单一语言 Whisper 更好；一句话里换语言时 Qwen3 更好。
常见问题
MER 是什么？
混合错误率。把参考文本和识别结果都切成中文字和英文词，做一次编辑距离对齐，把替换、删除、插入的总数除以参考里的 token 数。这是中英混说识别最常用的指标。
有没有测 Wispr Flow、Typeless 或系统听写？
没有。Wispr Flow 和 Typeless 在云端转写，它们和系统听写都没法直接喂一组固定的音频文件，比出来不公平。我们通过开发者接口加入了苹果本机识别，作为最接近系统自带的基线。
我能复现吗？
能。脚本、句子 ID、参考文本和每个引擎的输出都在 github.com/leemingynng-create/vocco-asr-benchmark。一条命令会下载 ASCEND 和模型、编译运行器并完成打分。文字结果应该完全一致，耗时取决于你的 Mac。
本页怎么写的：所有数字都来自我们自己的评测运行，日期见上文，脚本和输出见“测试方法”。文字初稿由 AI 辅助撰写，并对照运行结果核对。