跳到正文
  1. Zyphra Research78

    Zyphra 发布 ZONOS3-Mini:一款可在设备端运行的 Apache 2.0 零样本语音克隆 TTS 模型

    Zyphra 发布了 ZONOS3-Mini,这是一款稀疏 MoE 文本转语音模型,激活参数 100M、总参数 800M,采用 Apache 2.0 许可,在 112 块 NVIDIA H100 上训练了 2.5 天。它在 Pixel 9 的浏览器中首音频延迟低于 570 毫秒,在 M3 MacBook Air 上低于 150 毫秒,并提供 WebGPU、SGLang、vLLM 和 GGML 运行时。该模型增加了对身份、口音、质量、情绪和表达方式的控制,包括词级调控,Zyphra 报告称其在其新的 ZTTS2-Eval 基准上在开源模型中排名第一。

    推荐理由:Zyphra 的紧凑型 MoE TTS 模型将零样本语音克隆与词级表达控制相结合,同时能在手机和笔记本电脑上实时运行。

  1. Mistral AI82

    Mistral 发布 Voxtral 3 语音模型和语音智能体 SDK

    Mistral 发布了 Voxtral 3,这是一系列语音转文本和文本转语音模型,外加一个基于 LiveKit 构建的语音智能体 SDK,可在单一流水线中流式完成聆听、推理、工具调用和说话。Voxtral Small Transcribe 3 覆盖 50 多种语言,支持说话人分离和上下文偏置;Voxtral Mini TTS 3 支持 35 多种语言和 50 多种方言;该技术栈可通过 Mistral 的欧盟托管 API 或自部署获取。定价为批量转写每分钟 0.0035 美元起,TTS 每 100 万字符 13 美元。

    推荐理由:Mistral 的 Voxtral 3 将多语言语音模型与基于 LiveKit 的语音智能体 SDK 相结合,为团队提供了一个可主权部署的实时语音智能体选项。

  1. inclusionAI Repositories67

    inclusionAI 发布 Ming-3.0-audio-flash 与 Ming-3.0-audio-tiny 音频模型

    inclusionAI 发布了 Ming-3.0-audio-flash,这是一个 126B 参数的混合专家音频模型,激活参数为 6.5B;同时发布的还有紧凑型 Ming-3.0-audio-tiny,参数为 9.3B,激活参数为 2.7B。flash 模型覆盖中英文语音识别,包括方言和嘈杂多说话人场景、长音频理解、非语音声音与音乐感知、音频推理,以及可选用合成语音输出的端到端口语对话。该模型以 MIT 许可证提供,附带 vLLM-Omni、SGLang 和 Transformers 推理路径,默认 Flash 配置在 128K 上下文下使用四块 80 GB H800 GPU 进行张量并行。

    推荐理由:该发布详细介绍了一个 126B 参数的 MoE 音频模型(激活参数 6.5B),以及一个 9.3B 的 tiny 变体,为开放音频语言模型的规模与部署提供了具体参考。

已经到底了