← AI实验室
5 分钟

SAM Audio Small · 两次实测评估

深蓝背景上起伏的发光声波

用同一个文字提示 people speaking,SAM Audio Small 能否把混合音频拆成说话声和其余声音?这次在一张 NVIDIA GeForce RTX 4090 D 上完成了两次实验,素材分别是 18.74 秒的短片和 160.24 秒的长音频。数据来自 2026 年 11 月 13 日的报告快照。

两次任务都跑通,听感仍待评审

两次 GPU1 任务均以退出码 0 结束。输入和两条输出轨的 SHA-256 与运行清单一致,输出 WAV 可以完整解码。长音频分成 9 个重叠窗口,脚本耗时 65.36 秒,实时系数为 0.41。

这份报告验证了推理链路和文件完整性。人声残留、背景声保真和窗口接缝仍需人工试听。两次实验使用不同素材和脚本,耗时差异无法单独归因于输入长度。

模型与实验设置

Meta 的 SAM Audio 支持文字、视觉对象和时间片段提示。本次只使用文字提示 people speaking。模型生成两条音轨,target 是它识别出的目标说话声,residual 是剩余声音,也是本次去人声的结果。

  • 使用 SAM Audio Small 固定模型修订版,权重文件 5.10 GB(4.75 GiB),约 13.85 亿参数,另有约 587 MiB 的 T5 缓存。
  • 输入统一为 48 kHz、单声道、16-bit PCM WAV。随机种子为 0,关闭自动跨度预测,候选数为 1。两次实验都在单卡运行。
  • 短片整段分离。长音频使用 20 秒窗口,相邻重叠 2 秒,在重叠区加权拼接,再按输入样本数裁剪。

运行速度与显存

脚本实时系数横向条形图,18.74 秒短片为 2.39,160.24 秒长音频为 0.41
原报告截图。短片 RTF 为 2.39,长音频为 0.41。
两次运行明细
素材输入(秒)脚本(秒)RTF提交至归还(分钟)峰值分配 / 预留(GiB)输出时长差(毫秒)
短片18.73744.812.39210.210.373 / 11.291+22.938
长音频160.23565.360.41156.610.696 / 12.3770.000

调度时间(北京时间)

  • 短片 · 11/10 18:19:15 提交,11/10 21:49:26 归还
  • 长音频 · 11/13 02:30:39 提交,11/13 05:07:14 归还

RTF 是脚本耗时除以输入时长,小于 1 表示本次处理快于实时。脚本耗时包含模型加载、推理和写盘。提交至归还还包括排队与资源交接。显存数字是 PyTorch 进程的峰值。

输出技术检查

六条 WAV 均为 48 kHz 单声道 PCM 16-bit,逐样本检查均无削波。

六条 WAV 的技术检查
素材轨道时长(秒)RMS(dBFS)峰值(dBFS)削波清单哈希
短片原声18.737-42.24-16.900%一致
短片分离人声18.760-45.25-27.650%一致
短片去人声18.760-46.34-17.200%一致
长音频原声160.235-15.58-0.550%一致
长音频分离人声160.235-22.52-0.070%一致
长音频去人声160.235-17.20-0.290%一致

电平、削波和解码检查用于核对文件的技术状态。评估去人声效果,需要对齐原声和两条输出,分别听说话声残留、背景损失和长音频拼接处。

应用判断

两次 GPU1 实验验证了单卡加载、分离与文件输出。报告快照中的 GPU0 复测仍在排队。正式采用前,还需要补齐人工听评、更多声景与重复运行、并发与异常恢复验证,并审查模型来源及 SAM License 的适用范围。

运行数据来自调度终态和脚本清单。报告使用逐样本 PCM 统计、SHA-256 和完整解码核对输出。

SAM Audio 官方仓库 · Meta 技术介绍 · Small 模型页与许可

试听对比

以下为原报告的 96 kbps MP3 试听版。技术校验使用原始 WAV。

短片 · 18.74 秒

audio-thumbnail
短片 · 原声
0:00
/18.737063
audio-thumbnail
短片 · 去人声
0:00
/18.76
audio-thumbnail
短片 · 分离人声
0:00
/18.76

长音频 · 160.24 秒

audio-thumbnail
长音频 · 原声
0:00
/160.235104
audio-thumbnail
长音频 · 去人声
0:00
/160.235104
audio-thumbnail
长音频 · 分离人声
0:00
/160.235104