ZONOS3-Mini 三语实测:中文、英语和阿拉伯语都能读,但音色有讲究
在 Apple M2 Max 与 RTX 4090 D 上实测 ZONOS3-Mini 的中文、英语及阿拉伯语,附三语试听和同机音色对照。阿语样本的 Whisper 字符错误率随参考声从 74.7% 降到 0%。11 月 16 日补测新增本机 Metal 的九条表达试听。
2026 年 11 月 13 日,我们用 ZONOS3-Mini 分别合成一段中文、英语和阿拉伯语,在 Apple M2 Max 上跑通,再在 RTX 4090 D 上用同一模型版本和同一随机种子复测。GPU 生成的三条短音频都能完整解码,离线 Whisper 转录与原文规范化后一致。阿拉伯语最依赖音色条件:沿用默认英语音色时,字符错误率达到 74.7%,改用阿语参考声后,这段样本降到 0%。 11 月 16 日,我们又在 M2 Max 上补测了三种表达,每种语言各三段。九段均通过离线转录核对,表达效果留待人工听评。
ZONOS3-Mini 是什么
这是 Zyphra 发布的轻量文字转语音模型。官方模型卡列出 43 种语言,支持文本生成语音、参考声音色和表达控制,官方标注骨干约 8 亿总参数、每个 token 约 1 亿活跃参数,输出 44.1 kHz。初测覆盖短文本和参考声,补测加入表达控制。模型权重采用 Apache-2.0,官方推理代码采用 MIT,第三方组件的许可另见仓库 NOTICE。Zyphra 模型卡 · 官方推理仓库
RTX 4090 D 三语结果与试听
三段各用独立 CLI 进程运行。脚本耗时包括加载权重、生成、解码和写盘。实时系数 RTF 为脚本耗时除以音频长度,低于 1 表示这段完整运行用时短于成品音频。GPU 调度从提交到归还用了 111.03 秒,包含准备和归还等开销。三段实际脚本耗时合计 9.45 秒。
| 语言与音色 | 音频时长 | 脚本耗时 | RTF | Whisper CER |
|---|---|---|---|---|
| 中文 · Meilin | 6.67 秒 | 2.96 秒 | 0.44 | 0% |
| 英语 · AmericanFemale | 7.93 秒 | 2.78 秒 | 0.35 | 0% |
| 阿拉伯语 · Majed 参考声 | 11.60 秒 | 3.71 秒 | 0.32 | 0% |
原始输出是 44.1 kHz、单声道、PCM 16-bit WAV。三段文件回传后与生成端 SHA-256 一致,完整解码通过,无 PCM 满幅削波。以下播放器使用同一批输出转码的 MP3。
Apple M2 Max 本机对照
本机用官方 ggml/Metal 构建,设备为 Apple M2 Max、64 GiB 内存。同设置各跑两次。每次都单独启动并装载模型,部分首轮包含 Metal 内核编译或缓存预热。CUDA 与 Metal 的生成长度和运行路径有差异,两组数字适合各自阅读。
| 语言与音色 | 首轮音频 | 首轮耗时 / RTF | 复跑耗时 / RTF | Whisper CER |
|---|---|---|---|---|
| 中文 · Meilin | 6.47 秒 | 9.71 秒 / 1.50 | 0.90 秒 / 0.14 | 3.0% |
| 英语 · AmericanFemale | 9.07 秒 | 1.18 秒 / 0.13 | 1.03 秒 / 0.11 | 0% |
| 阿拉伯语 · Majed 参考声 | 11.20 秒 | 10.14 秒 / 0.91 | 2.35 秒 / 0.21 | 0% |
中文本机样本中,Whisper 把「语音」转录成了「语衣」。本机进程峰值驻留内存约 1.40–1.45 GiB,Linux 进程观测到的 CPU RSS 最大约 0.42 GiB;GPU 显存峰值尚未取得。RTX 4090 D 三段样本的峰值电平分别为 −3.04、−12.66、−3.25 dBFS,RMS 分别为 −16.38、−32.75、−16.70 dBFS。
阿拉伯语为什么要选对参考声
在 Metal 上输入同一段阿拉伯语文本,配官方默认英语音色时,输出长 11.20 秒,Whisper CER 是 74.7%。换成 7.42 秒的 macOS Majed 阿语系统音色后,输出同样长 11.20 秒,CER 为 0%。参考片段由系统朗读同一段测试文本生成,所以结果只覆盖本次条件,跨文本、跨参考声的稳定性仍需验证。
语言覆盖和接口参数也分两层。被测版本的官方服务端接受 10 个语言代码,直接提交 language=ar 得到 HTTP 400。阿拉伯语输入配 Majed 参考声,使用 language=en_us 的兜底规范化路径则返回 HTTP 200。同一参考声和随机种子下,HTTP 返回的 WAV 与本机 CLI 样本哈希一致。阿语的数字、日期与混合文本仍需单独验证。
11 月 16 日补测:三种语言 × 三种表达
11 月 16 日,我们在 M2 Max 上用同一模型和权重继续测试表达控制。三种语言分别读同一句话的各自译文,每种语言固定音色和随机种子 42,按「开心」「激昂」「播音腔调」各生成一段,共得到九条可试听样本。中文使用 Meilin,英语使用 AmericanFemale,阿拉伯语沿用 7.42 秒的 Majed 合成参考声。
- 中文:阿拉伯语是世界上最主要的语言之一
- 阿拉伯语:تُعد اللغة العربية واحدة من أهم اللغات في العالم.
- 英语:Arabic is one of the most important languages in the world.
表达控制使用官方 steering 文件转换得到的 steer.gguf。三组参数如下。
- 开心:
emotions.happy=4。阿语首轮漏读句尾,最终将该值调到 3。 - 激昂:
mood.arousal=3、mood.dominance=1.5、delivery.loud=1.5、expressive.expressive=4。英语首轮有 4 个满幅采样点,最终将输出余量从 3 dB 提到 6 dB,其余样本仍用 3 dB。 - 播音腔调:
texture.authoritative=2.5、room.clean=2、delivery.conversational=-2.5、mood.clarity=1.5、mood.articulation=1。
| 语言 | 表达目标 | 音频时长 | CLI 耗时 | RTF | Whisper CER | 满幅采样 |
|---|---|---|---|---|---|---|
| 中文 | 开心 | 3.07 秒 | 2.30 秒 | 0.75 | 0% | 0 |
| 中文 | 激昂 | 3.07 秒 | 0.66 秒 | 0.22 | 0% | 0 |
| 中文 | 播音腔调 | 3.40 秒 | 0.68 秒 | 0.20 | 0% | 0 |
| 阿拉伯语 | 开心 | 5.07 秒 | 2.08 秒 | 0.41 | 0% | 0 |
| 阿拉伯语 | 激昂 | 5.20 秒 | 1.98 秒 | 0.38 | 0% | 0 |
| 阿拉伯语 | 播音腔调 | 5.47 秒 | 1.99 秒 | 0.36 | 0% | 0 |
| 英语 | 开心 | 4.80 秒 | 0.76 秒 | 0.16 | 0% | 0 |
| 英语 | 激昂 | 4.93 秒 | 0.80 秒 | 0.16 | 0% | 0 |
| 英语 | 播音腔调 | 4.80 秒 | 0.77 秒 | 0.16 | 0% | 0 |
九次独立 CLI 运行累计 12.04 秒(RTF 0.16–0.75)。计时包括启动、加载、生成、解码和写盘,首例还包含 Metal 内核初始化。九条 WAV 均为 44.1 kHz 单声道 PCM16,哈希与清单一致,完整解码通过。各轨 Whisper CER 均为 0%,无 PCM 满幅削波。情绪标签表示控制目标,表达是否听起来符合目标仍待人工听评。
以下试听由最终 WAV 转成 MP3,每组按开心、激昂、播音腔调排列。
中文试听
阿拉伯语试听
英语试听
截至验证报告记录的 2026 年 11 月 16 日 14:12(北京时间),九段样本的 VM141 CUDA 复测仍在等待预检,尚无 GPU 租约或输出。上面的 RTX 4090 D 数据来自 11 月 13 日的三语初测。
实验口径与适用范围
- 版本与配置:官方推理代码固定在
bcb6661,模型快照固定在f68e6e4。加载骨干、精简解码器和说话人编码器三份 GGUF,合计约 1.08 GiB,随机种子为 42,最大生成帧数设为 240。其余采样与输出参数沿用官方默认值。 - 转录:使用离线 Whisper Large V3 Turbo,逐轨指定识别语言。字符错误率 CER 在 Unicode NFKC、小写、去标点、去空格和去除阿拉伯文元音符号后计算。
- 结论:本次结果支持继续做三语短句的接口 PoC。人工听感、自然度、韵律、说话人相似度、长文、并发、首包延迟和显存峰值仍待测。实验在隔离环境完成,未上线正式服务。
本次输入文本
- 中文:你好,今天我们测试一个多语言语音模型。窗外阳光很好,希望这段声音清晰自然。
- 英语:Hello. This is a short English speech test. The sun is shining outside, and I hope this voice sounds clear and natural.
- 阿拉伯语:مرحباً. هذا اختبار قصير لتوليد الكلام باللغة العربية. الشمس مشرقة اليوم، وأتمنى أن يكون الصوت واضحاً وطبيعياً.