Halo NeuroAI 发布 Sopro V2 TTS 系列,并开源 Turbo 模型
先了解这件事
Halo NeuroAI 发布了文本转语音模型系列 Sopro V2,并开源了其中速度最快的成员 sopro-v2-turbo。这是一个 120M 参数的语音克隆模型,可在笔记本电脑 CPU 或浏览器中运行,覆盖英语、德语、法语和欧洲葡萄牙语。该公司称,在 Apple M3 CPU 上,其离线生成速度为 0.24 RTF,流式传输为 0.21 RTF,首段音频延迟约 300 毫秒;单块 H100 的离线速度可达 0.07 RTF。 该模型分四个阶段训练,包括从 0.5B 教师模型蒸馏,以及一个将声学求解器步数从 32 降至 2 的 reflow 步骤;Halo NeuroAI 报告称,在 F5-TTS 协议下,Seed-TTS test-en 上的 WER 为 1.63,LibriSpeech test-clean 上为 1.79。本地演示只需一条命令即可启动,完全在浏览器内运行的 ONNX 演示无需服务器,不过在移动端模型会经过量化,结果可能略差,低内存设备可能会崩溃。Halo NeuroAI 表示,由于训练代码复杂,近期不打算发布训练代码。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AIHalo NeuroAI 开源 Sopro V2 Turbo:一款 120M 端侧语音克隆 TTS 模型
Halo NeuroAI 发布了文本转语音模型系列 Sopro V2,并开源了其中速度最快的成员 sopro-v2-turbo——一个 120M 参数的语音克隆模型,可在笔记本电脑 CPU 或浏览器中流式运行,覆盖英语、德语、法语和欧洲葡萄牙语。在 Apple M3 CPU 上,它以 0.24 RTF 离线生成,并以约 300 毫秒首音频延迟、0.21 RTF 流式运行;单张 H100 离线可达 0.07 RTF。该模型经过四个训练阶段构建,包括从 0.5B 教师模型蒸馏,以及将声学求解器步数从 32 降至 2 的 reflow;作者报告在 F5-TTS 协议下,Seed-TTS test-en 上 WER 为 1.63,LibriSpeech test-clean 上为 1.79。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。