ข้ามไปที่เนื้อหา
เฉพาะ โมเดล#เสียง
  1. Zyphra Research78

    Zyphra เปิดตัว ZONOS3-Mini โมเดล TTS โคลนเสียงแบบ zero-shot ภายใต้ Apache 2.0 ที่รันบนอุปกรณ์

    Zyphra เปิดตัว ZONOS3-Mini โมเดล text-to-speech แบบ sparse MoE ที่มีพารามิเตอร์ใช้งานจริง 100M และพารามิเตอร์รวม 800M ภายใต้สัญญาอนุญาต Apache 2.0 ฝึกบน NVIDIA H100 จำนวน 112 ตัวใน 2.5 วัน ทำเวลา time-to-first-audio ได้ต่ำกว่า 570 ms ในเบราว์เซอร์บน Pixel 9 และต่ำกว่า 150 ms บน M3 MacBook Air พร้อมรันไทม์สำหรับ WebGPU, SGLang, vLLM และ GGML โมเดลนี้เพิ่มการควบคุมอัตลักษณ์ สำเนียง คุณภาพ อารมณ์ และการแสดงออก รวมถึงการปรับระดับคำ และ Zyphra รายงานว่าอยู่อันดับหนึ่งในกลุ่มโมเดลเปิดบน benchmark ใหม่ ZTTS2-Eval

    ทำไมเรื่องนี้สำคัญ: โมเดล TTS แบบ MoE ขนาดกะทัดรัดของ Zyphra ผสานการโคลนเสียงแบบ zero-shot เข้ากับการควบคุมการแสดงออกระดับคำ พร้อมรันแบบเรียลไทม์บนโทรศัพท์และแล็ปท็อป

  1. Mistral AI82

    Mistral เปิดตัวโมเดลเสียง Voxtral 3 และ Voice Agent SDK

    Mistral เปิดตัว Voxtral 3 กลุ่มโมเดลถอดเสียงเป็นข้อความและข้อความเป็นเสียง พร้อม Voice Agent SDK ที่สร้างบน LiveKit ซึ่งสตรีมการฟัง การคิด การเรียกใช้เครื่องมือ และการพูดในไปป์ไลน์เดียว Voxtral Small Transcribe 3 รองรับกว่า 50 ภาษา พร้อมการแยกผู้พูดและ context biasing ส่วน Voxtral Mini TTS 3 รองรับกว่า 35 ภาษาและกว่า 50 ภาษาถิ่น โดยสแต็กนี้ใช้งานได้ผ่าน API ของ Mistral ที่โฮสต์ใน EU หรือการติดตั้งเอง ราคาเริ่มต้นที่ $0.0035/นาที สำหรับการถอดเสียงแบบแบตช์ และ $13 ต่อ 1M ตัวอักษรสำหรับ TTS

    ทำไมเรื่องนี้สำคัญ: Voxtral 3 ของ Mistral จับคู่โมเดลเสียงหลายภาษากับ Voice Agent SDK ที่สร้างบน LiveKit มอบทางเลือกที่ติดตั้งใช้งานได้อย่างอธิปไตยให้ทีมต่างๆ สำหรับ voice agent แบบเรียลไทม์

  1. inclusionAI Repositories67

    inclusionAI เผยแพร่โมเดลเสียง Ming-3.0-audio-flash และ Ming-3.0-audio-tiny

    inclusionAI เผยแพร่ Ming-3.0-audio-flash โมเดลเสียงแบบ Mixture-of-Experts ขนาด 126B พารามิเตอร์ ที่เปิดใช้งาน 6.5B พารามิเตอร์ พร้อมกับ Ming-3.0-audio-tiny ขนาดกะทัดรัด 9.3B พารามิเตอร์ ที่เปิดใช้งาน 2.7B โมเดล flash ครอบคลุมการรู้จำเสียงพูดภาษาจีนและอังกฤษในหลากหลายสำเนียงและสถานการณ์ที่มีผู้พูดหลายคนและมีเสียงรบกวน การเข้าใจเสียงยาว การรับรู้เสียงที่ไม่ใช่เสียงพูดและดนตรี การให้เหตุผลด้านเสียง และการสนทนาด้วยเสียงแบบ end-to-end พร้อมตัวเลือกในการสังเคราะห์เสียงพูดเป็นเอาต์พุต มาพร้อมเส้นทางการอนุมานผ่าน vLLM-Omni, SGLang และ Transformers ภายใต้สัญญาอนุญาต MIT โดยโปรไฟล์ Flash เริ่มต้นใช้ tensor parallelism บน GPU H800 ขนาด 80 GB จำนวนสี่ตัวที่บริบท 128K

    ทำไมเรื่องนี้สำคัญ: การเผยแพร่นี้ให้รายละเอียดโมเดลเสียง MoE ขนาด 126B พารามิเตอร์ ที่เปิดใช้งาน 6.5B พารามิเตอร์ พร้อมตัวแปร tiny ขนาด 9.3B ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการกำหนดขนาดและการติดตั้งใช้งานโมเดลภาษา-เสียงแบบเปิด

อ่านครบทั้งหมดแล้ว