跳至正文
  1. Zyphra Research78

    Zyphra 發布 ZONOS3-Mini:一款可在裝置端執行的 Apache 2.0 零樣本語音複製 TTS 模型

    Zyphra 發布 ZONOS3-Mini,這是一款稀疏 MoE 文字轉語音模型,具備 1 億活躍參數與 8 億總參數,採用 Apache 2.0 授權,以 112 張 NVIDIA H100 訓練 2.5 天。它在 Pixel 9 的瀏覽器上可達到低於 570 毫秒的首次音訊延遲,在 M3 MacBook Air 上則低於 150 毫秒,並提供 WebGPU、SGLang、vLLM 與 GGML 的執行環境。該模型新增對身分、口音、品質、情緒與表達方式的控制,包括詞級引導,且 Zyphra 表示它在其新的 ZTTS2-Eval 基準測試中於開源模型裡排名第一。

    推薦理由:Zyphra 這款精巧的 MoE TTS 模型將零樣本語音複製與詞級表達控制結合,同時能在手機與筆記型電腦上即時執行。

  1. Mistral AI82

    Mistral 發布 Voxtral 3 語音模型與語音代理 SDK

    Mistral 發布 Voxtral 3,這是一系列語音轉文字與文字轉語音模型,外加一套建構於 LiveKit 之上的語音代理 SDK,能在單一管線中串流處理聆聽、推理、工具呼叫與說話。Voxtral Small Transcribe 3 涵蓋 50 多種語言,支援語者分離與上下文偏置;Voxtral Mini TTS 3 支援 35 多種語言與 50 多種方言;整套技術堆疊可透過 Mistral 的歐盟託管 API 或自行部署取得。定價方面,批次轉錄每分鐘 0.0035 美元起,TTS 每 100 萬字元 13 美元。

    推薦理由:Mistral 的 Voxtral 3 將多語言語音模型與基於 LiveKit 的語音代理 SDK 搭配,為團隊提供可主權部署的即時語音代理選項。

  1. inclusionAI Repositories67

    inclusionAI 發布 Ming-3.0-audio-flash 與 Ming-3.0-audio-tiny 音訊模型

    inclusionAI 發布 Ming-3.0-audio-flash,這是一個 126B 參數的混合專家(MoE)音訊模型,啟動參數為 6.5B,同時推出精簡版 Ming-3.0-audio-tiny,參數為 9.3B、啟動參數 2.7B。flash 模型涵蓋中英文語音辨識,包括方言與嘈雜多說話者場景、長音訊理解、非語音聲音與音樂感知、音訊推理,以及可選合成語音輸出的端到端口語對話。它隨附 vLLM-Omni、SGLang 與 Transformers 推論路徑,採用 MIT 授權,預設 Flash 配置在 128K 上下文下使用四張 80 GB H800 GPU 的張量平行。

    推薦理由:此次發布詳細介紹了一個 126B 參數的 MoE 音訊模型,啟動參數為 6.5B,外加一個 9.3B 的 tiny 變體,為開放音訊語言模型的規模與部署提供了具體參考。

已經到底了