Tới nội dung
Chỉ Mô hình#Giọng nói
  1. Zyphra Research78

    Zyphra phát hành ZONOS3-Mini, mô hình TTS nhân bản giọng nói zero-shot theo giấy phép Apache 2.0 chạy trên thiết bị

    Zyphra đã phát hành ZONOS3-Mini, một mô hình chuyển văn bản thành giọng nói MoE thưa với 100M tham số hoạt động và 800M tổng tham số theo giấy phép Apache 2.0, được huấn luyện trên 112 NVIDIA H100 trong 2,5 ngày. Mô hình đạt thời gian đến âm thanh đầu tiên dưới 570 ms trên trình duyệt với Pixel 9 và dưới 150 ms trên M3 MacBook Air, với các runtime cho WebGPU, SGLang, vLLM và GGML. Mô hình bổ sung khả năng kiểm soát danh tính, giọng điệu, chất lượng, tâm trạng và cách thể hiện, bao gồm điều khiển ở cấp độ từ, và Zyphra báo cáo rằng mô hình đứng đầu trong số các mô hình mở trên benchmark ZTTS2-Eval mới của họ.

    Vì sao đáng chú ý: Mô hình TTS MoE nhỏ gọn của Zyphra kết hợp nhân bản giọng nói zero-shot với điều khiển cách thể hiện ở cấp độ từ trong khi chạy thời gian thực trên điện thoại và máy tính xách tay.

  1. Mistral AI82

    Mistral ra mắt mô hình giọng nói Voxtral 3 và SDK tác nhân giọng nói

    Mistral đã phát hành Voxtral 3, một họ mô hình chuyển giọng nói thành văn bản và văn bản thành giọng nói cùng một SDK tác nhân giọng nói được xây dựng trên LiveKit, cho phép truyền phát nghe, suy luận, gọi công cụ và nói trong một quy trình duy nhất. Voxtral Small Transcribe 3 hỗ trợ hơn 50 ngôn ngữ với tính năng phân tách người nói và điều chỉnh theo ngữ cảnh, Voxtral Mini TTS 3 hỗ trợ hơn 35 ngôn ngữ và hơn 50 phương ngữ, và bộ công cụ này có sẵn thông qua API do Mistral lưu trữ tại EU hoặc triển khai tự túc. Giá khởi điểm từ 0,0035 USD/phút cho phiên âm hàng loạt và 13 USD cho mỗi 1 triệu ký tự cho TTS.

    Vì sao đáng chú ý: Voxtral 3 của Mistral kết hợp các mô hình giọng nói đa ngôn ngữ với SDK tác nhân giọng nói dựa trên LiveKit, mang đến cho các đội ngũ một lựa chọn có thể triển khai có chủ quyền cho các tác nhân giọng nói thời gian thực.

  1. inclusionAI Repositories67

    inclusionAI phát hành các mô hình âm thanh Ming-3.0-audio-flash và Ming-3.0-audio-tiny

    inclusionAI đã phát hành Ming-3.0-audio-flash, một mô hình âm thanh Mixture-of-Experts 126 tỷ tham số với 6,5 tỷ tham số được kích hoạt, cùng với Ming-3.0-audio-tiny nhỏ gọn với 9,3 tỷ tham số và 2,7 tỷ tham số được kích hoạt. Mô hình flash bao phủ nhận dạng giọng nói tiếng Trung và tiếng Anh trên các phương ngữ và môi trường nhiều người nói ồn ào, hiểu âm thanh dài, nhận thức âm thanh không phải giọng nói và âm nhạc, suy luận âm thanh, và hội thoại nói đầu-cuối với đầu ra giọng nói tổng hợp tùy chọn. Nó đi kèm với các đường suy luận vLLM-Omni, SGLang và Transformers theo Giấy phép MIT, với các cấu hình Flash mặc định sử dụng song song tensor trên bốn GPU H800 80 GB ở ngữ cảnh 128K.

    Vì sao đáng chú ý: Bản phát hành mô tả chi tiết một mô hình âm thanh MoE 126 tỷ tham số với 6,5 tỷ tham số được kích hoạt, cùng với một biến thể tiny 9,3 tỷ, cung cấp một tham chiếu cụ thể cho việc định cỡ và triển khai mô hình ngôn ngữ-âm thanh mở.

Bạn đã xem hết