跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

6 条精选近 30 天 6 条共收录 114 条

11月10日 00:00更新

语音与音频

11月10日周二第 1–6 条 / 共 6 条
  1. Google Developers Blog72

    Google AI Edge Gallery 新增端侧语音识别与文本转语音功能

    Google 在 Google AI Edge Gallery 中引入端侧自动语音识别（ASR）与文本转语音（TTS），使应用能够在完全离线的情况下运行多语言 ASR 和富有表现力的 TTS，并与 Gemini Nano、Gemma 4 等端侧 SLM 协同工作。在 Android 上，ML Kit 的新语音模型以 10 倍实时速度转写 100 多种语言，在 FLEURS 上的词错误率为 8.0% 至 9.0%；而少步扩散 TTS 约 100 毫秒即可开始发声，并以最高 50 倍实时速度生成 24 kHz 音频。跨平台支持通过 MediaPipe Tasks 和 LiteRT 实现，提供包括 Parakeet-TDT 0.6B、PocketTTS 100M、Kokoro-82M 和 Phonon 31M 在内的开放权重包，并在 XR Language Teacher 展示和语音版 AI Chat 中进行了演示。

    推荐理由：Google 为 AI Edge Gallery 添加了完全离线的 ASR 和 TTS，ML Kit 报告称可 10 倍实时转写 100 多种语言，扩散 TTS 约 100 毫秒即可开始发声。

11月9日周一
  1. Zyphra Research78

    Zyphra 发布 ZONOS3-Mini：一款可在设备端运行的 Apache 2.0 零样本语音克隆 TTS 模型

    Zyphra 发布了 ZONOS3-Mini，这是一款稀疏 MoE 文本转语音模型，激活参数 100M、总参数 800M，采用 Apache 2.0 许可，在 112 块 NVIDIA H100 上训练了 2.5 天。它在 Pixel 9 的浏览器中首音频延迟低于 570 毫秒，在 M3 MacBook Air 上低于 150 毫秒，并提供 WebGPU、SGLang、vLLM 和 GGML 运行时。该模型增加了对身份、口音、质量、情绪和表达方式的控制，包括词级调控，Zyphra 报告称其在其新的 ZTTS2-Eval 基准上在开源模型中排名第一。

    推荐理由：Zyphra 的紧凑型 MoE TTS 模型将零样本语音克隆与词级表达控制相结合，同时能在手机和笔记本电脑上实时运行。

11月6日周五
  1. Meta Newsroom · AI62

    Meta 在 Muse 应用中推出实时语音和表情虚拟形象

    Meta 正在美国率先于移动端、网页端和 Mac 端的 Muse 应用中推出实时语音对话和表情虚拟形象。用户点击电话图标即可通话，可以打断回复，并可从数百种声音以及纯语音、虚拟形象或全屏模式中进行选择。语音功能即将登陆 AI Glasses 和 Muse Charm。

    推荐理由：Meta 的 Muse 应用现已支持带表情虚拟形象的实时语音对话，显示出语音和打断处理正进入消费级 AI 助手。

10月20日周二
  1. Mistral AI82

    Mistral 发布 Voxtral 3 语音模型和语音智能体 SDK

    Mistral 发布了 Voxtral 3，这是一系列语音转文本和文本转语音模型，外加一个基于 LiveKit 构建的语音智能体 SDK，可在单一流水线中流式完成聆听、推理、工具调用和说话。Voxtral Small Transcribe 3 覆盖 50 多种语言，支持说话人分离和上下文偏置；Voxtral Mini TTS 3 支持 35 多种语言和 50 多种方言；该技术栈可通过 Mistral 的欧盟托管 API 或自部署获取。定价为批量转写每分钟 0.0035 美元起，TTS 每 100 万字符 13 美元。

    推荐理由：Mistral 的 Voxtral 3 将多语言语音模型与基于 LiveKit 的语音智能体 SDK 相结合，为团队提供了一个可主权部署的实时语音智能体选项。

10月15日周四
  1. inclusionAI Repositories67

    inclusionAI 发布 Ming-3.0-audio-flash 与 Ming-3.0-audio-tiny 音频模型

    inclusionAI 发布了 Ming-3.0-audio-flash，这是一个 126B 参数的混合专家音频模型，激活参数为 6.5B；同时发布的还有紧凑型 Ming-3.0-audio-tiny，参数为 9.3B，激活参数为 2.7B。flash 模型覆盖中英文语音识别，包括方言和嘈杂多说话人场景、长音频理解、非语音声音与音乐感知、音频推理，以及可选用合成语音输出的端到端口语对话。该模型以 MIT 许可证提供，附带 vLLM-Omni、SGLang 和 Transformers 推理路径，默认 Flash 配置在 128K 上下文下使用四块 80 GB H800 GPU 进行张量并行。

    推荐理由：该发布详细介绍了一个 126B 参数的 MoE 音频模型（激活参数 6.5B），以及一个 9.3B 的 tiny 变体，为开放音频语言模型的规模与部署提供了具体参考。

  2. Apple Newsroom60

    Apple 发布 iPhone Duo，其首款可折叠 iPhone，配备 7.58 英寸内屏

    Apple 宣布推出 iPhone Duo，这是其首款可折叠 iPhone，拥有迄今最大的 iPhone 显示屏：7.58 英寸内屏，比 iPhone 18 Pro Max 的显示屏大 50%，另有 5.4 英寸外屏，覆盖 iPhone 18 Pro 屏幕面积的 90%。它搭载 A20 Pro 芯片，采用双电池架构，iOS 27 针对可折叠形态进行了重新设计，包括可并排显示 Siri 和 Mail 的分屏视图。由 Apple Intelligence 驱动的 Siri AI 正随 iOS 27 以英文版先行推出测试版，初期不会在欧盟提供；Apple 指出，Siri AI 及其他新的 Apple Intelligence 功能不会在中国提供。

    推荐理由：Apple 的首款可折叠 iPhone 将 7.58 英寸内屏与 5.4 英寸外屏和 A20 Pro 芯片搭配，展示了 iOS 27 和 Siri AI 如何适配可折叠形态。