← AI实验室
9 分钟

ZONOS3-Mini 三语实测:中文、英语和阿拉伯语都能读,但音色有讲究

在 Apple M2 Max 与 RTX 4090 D 上实测 ZONOS3-Mini 的中文、英语及阿拉伯语,附三语试听和同机音色对照。阿语样本的 Whisper 字符错误率随参考声从 74.7% 降到 0%。11 月 16 日补测新增本机 Metal 的九条表达试听。

实测中文、英语和阿拉伯语的三行音频波形
由三条 RTX 4090 D 实测 WAV 绘制。每条波形单独缩放,用于呈现形状。

2026 年 11 月 13 日,我们用 ZONOS3-Mini 分别合成一段中文、英语和阿拉伯语,在 Apple M2 Max 上跑通,再在 RTX 4090 D 上用同一模型版本和同一随机种子复测。GPU 生成的三条短音频都能完整解码,离线 Whisper 转录与原文规范化后一致。阿拉伯语最依赖音色条件:沿用默认英语音色时,字符错误率达到 74.7%,改用阿语参考声后,这段样本降到 0%。 11 月 16 日,我们又在 M2 Max 上补测了三种表达,每种语言各三段。九段均通过离线转录核对,表达效果留待人工听评。

ZONOS3-Mini 是什么

这是 Zyphra 发布的轻量文字转语音模型。官方模型卡列出 43 种语言,支持文本生成语音、参考声音色和表达控制,官方标注骨干约 8 亿总参数、每个 token 约 1 亿活跃参数,输出 44.1 kHz。初测覆盖短文本和参考声,补测加入表达控制。模型权重采用 Apache-2.0,官方推理代码采用 MIT,第三方组件的许可另见仓库 NOTICE。Zyphra 模型卡 · 官方推理仓库

RTX 4090 D 三语结果与试听

三段各用独立 CLI 进程运行。脚本耗时包括加载权重、生成、解码和写盘。实时系数 RTF 为脚本耗时除以音频长度,低于 1 表示这段完整运行用时短于成品音频。GPU 调度从提交到归还用了 111.03 秒,包含准备和归还等开销。三段实际脚本耗时合计 9.45 秒。

RTX 4090 D 三语实测
语言与音色 音频时长 脚本耗时 RTF Whisper CER
中文 · Meilin 6.67 秒 2.96 秒 0.44 0%
英语 · AmericanFemale 7.93 秒 2.78 秒 0.35 0%
阿拉伯语 · Majed 参考声 11.60 秒 3.71 秒 0.32 0%

原始输出是 44.1 kHz、单声道、PCM 16-bit WAV。三段文件回传后与生成端 SHA-256 一致,完整解码通过,无 PCM 满幅削波。以下播放器使用同一批输出转码的 MP3。

audio-thumbnail
中文 · Meilin · RTX 4090 D · 6.67 秒
0:00
/6.666667
audio-thumbnail
英语 · AmericanFemale · RTX 4090 D · 7.93 秒
0:00
/7.933333
audio-thumbnail
阿拉伯语 · Majed 参考声 · RTX 4090 D · 11.60 秒
0:00
/11.6

Apple M2 Max 本机对照

本机用官方 ggml/Metal 构建,设备为 Apple M2 Max、64 GiB 内存。同设置各跑两次。每次都单独启动并装载模型,部分首轮包含 Metal 内核编译或缓存预热。CUDA 与 Metal 的生成长度和运行路径有差异,两组数字适合各自阅读。

Apple M2 Max Metal 对照
语言与音色 首轮音频 首轮耗时 / RTF 复跑耗时 / RTF Whisper CER
中文 · Meilin 6.47 秒 9.71 秒 / 1.50 0.90 秒 / 0.14 3.0%
英语 · AmericanFemale 9.07 秒 1.18 秒 / 0.13 1.03 秒 / 0.11 0%
阿拉伯语 · Majed 参考声 11.20 秒 10.14 秒 / 0.91 2.35 秒 / 0.21 0%

中文本机样本中,Whisper 把「语音」转录成了「语衣」。本机进程峰值驻留内存约 1.40–1.45 GiB,Linux 进程观测到的 CPU RSS 最大约 0.42 GiB;GPU 显存峰值尚未取得。RTX 4090 D 三段样本的峰值电平分别为 −3.04、−12.66、−3.25 dBFS,RMS 分别为 −16.38、−32.75、−16.70 dBFS。

阿拉伯语为什么要选对参考声

在 Metal 上输入同一段阿拉伯语文本,配官方默认英语音色时,输出长 11.20 秒,Whisper CER 是 74.7%。换成 7.42 秒的 macOS Majed 阿语系统音色后,输出同样长 11.20 秒,CER 为 0%。参考片段由系统朗读同一段测试文本生成,所以结果只覆盖本次条件,跨文本、跨参考声的稳定性仍需验证。

audio-thumbnail
阿语对照 · 默认英语音色 · Metal · 11.20 秒
0:00
/11.2
audio-thumbnail
阿语对照 · Majed 参考声 · Metal · 11.20 秒
0:00
/11.2

语言覆盖和接口参数也分两层。被测版本的官方服务端接受 10 个语言代码,直接提交 language=ar 得到 HTTP 400。阿拉伯语输入配 Majed 参考声,使用 language=en_us 的兜底规范化路径则返回 HTTP 200。同一参考声和随机种子下,HTTP 返回的 WAV 与本机 CLI 样本哈希一致。阿语的数字、日期与混合文本仍需单独验证。

11 月 16 日补测:三种语言 × 三种表达

11 月 16 日,我们在 M2 Max 上用同一模型和权重继续测试表达控制。三种语言分别读同一句话的各自译文,每种语言固定音色和随机种子 42,按「开心」「激昂」「播音腔调」各生成一段,共得到九条可试听样本。中文使用 Meilin,英语使用 AmericanFemale,阿拉伯语沿用 7.42 秒的 Majed 合成参考声。

  • 中文:阿拉伯语是世界上最主要的语言之一
  • 阿拉伯语:تُعد اللغة العربية واحدة من أهم اللغات في العالم.
  • 英语:Arabic is one of the most important languages in the world.

表达控制使用官方 steering 文件转换得到的 steer.gguf。三组参数如下。

  • 开心:emotions.happy=4。阿语首轮漏读句尾,最终将该值调到 3。
  • 激昂:mood.arousal=3、mood.dominance=1.5、delivery.loud=1.5、expressive.expressive=4。英语首轮有 4 个满幅采样点,最终将输出余量从 3 dB 提到 6 dB,其余样本仍用 3 dB。
  • 播音腔调:texture.authoritative=2.5、room.clean=2、delivery.conversational=-2.5、mood.clarity=1.5、mood.articulation=1。
Apple M2 Max 三语三表达实测(11 月 16 日)
语言 表达目标 音频时长 CLI 耗时 RTF Whisper CER 满幅采样
中文 开心 3.07 秒 2.30 秒 0.75 0% 0
中文 激昂 3.07 秒 0.66 秒 0.22 0% 0
中文 播音腔调 3.40 秒 0.68 秒 0.20 0% 0
阿拉伯语 开心 5.07 秒 2.08 秒 0.41 0% 0
阿拉伯语 激昂 5.20 秒 1.98 秒 0.38 0% 0
阿拉伯语 播音腔调 5.47 秒 1.99 秒 0.36 0% 0
英语 开心 4.80 秒 0.76 秒 0.16 0% 0
英语 激昂 4.93 秒 0.80 秒 0.16 0% 0
英语 播音腔调 4.80 秒 0.77 秒 0.16 0% 0

九次独立 CLI 运行累计 12.04 秒(RTF 0.16–0.75)。计时包括启动、加载、生成、解码和写盘,首例还包含 Metal 内核初始化。九条 WAV 均为 44.1 kHz 单声道 PCM16,哈希与清单一致,完整解码通过。各轨 Whisper CER 均为 0%,无 PCM 满幅削波。情绪标签表示控制目标,表达是否听起来符合目标仍待人工听评。

以下试听由最终 WAV 转成 MP3,每组按开心、激昂、播音腔调排列。

中文试听

audio-thumbnail
中文 · 开心 · 3.07 秒
0:00
/3.066666666666667
audio-thumbnail
中文 · 激昂 · 3.07 秒
0:00
/3.066666666666667
audio-thumbnail
中文 · 播音腔调 · 3.40 秒
0:00
/3.4

阿拉伯语试听

audio-thumbnail
阿拉伯语 · 开心 · 5.07 秒
0:00
/5.066666666666666
audio-thumbnail
阿拉伯语 · 激昂 · 5.20 秒
0:00
/5.2
audio-thumbnail
阿拉伯语 · 播音腔调 · 5.47 秒
0:00
/5.466666666666667

英语试听

audio-thumbnail
英语 · 开心 · 4.80 秒
0:00
/4.8
audio-thumbnail
英语 · 激昂 · 4.93 秒
0:00
/4.933333333333334
audio-thumbnail
英语 · 播音腔调 · 4.80 秒
0:00
/4.8

截至验证报告记录的 2026 年 11 月 16 日 14:12(北京时间),九段样本的 VM141 CUDA 复测仍在等待预检,尚无 GPU 租约或输出。上面的 RTX 4090 D 数据来自 11 月 13 日的三语初测。

实验口径与适用范围

  • 版本与配置:官方推理代码固定在 bcb6661,模型快照固定在 f68e6e4。加载骨干、精简解码器和说话人编码器三份 GGUF,合计约 1.08 GiB,随机种子为 42,最大生成帧数设为 240。其余采样与输出参数沿用官方默认值。
  • 转录:使用离线 Whisper Large V3 Turbo,逐轨指定识别语言。字符错误率 CER 在 Unicode NFKC、小写、去标点、去空格和去除阿拉伯文元音符号后计算。
  • 结论:本次结果支持继续做三语短句的接口 PoC。人工听感、自然度、韵律、说话人相似度、长文、并发、首包延迟和显存峰值仍待测。实验在隔离环境完成,未上线正式服务。

本次输入文本

  • 中文:你好,今天我们测试一个多语言语音模型。窗外阳光很好,希望这段声音清晰自然。
  • 英语:Hello. This is a short English speech test. The sun is shining outside, and I hope this voice sounds clear and natural.
  • 阿拉伯语:مرحباً. هذا اختبار قصير لتوليد الكلام باللغة العربية. الشمس مشرقة اليوم، وأتمنى أن يكون الصوت واضحاً وطبيعياً.