Halo NeuroAI เปิดตัวตระกูล TTS Sopro V2 และเปิดซอร์สโมเดล Turbo
เริ่มตรงนี้
Halo NeuroAI เปิดตัว Sopro V2 ซึ่งเป็นตระกูลโมเดลแปลงข้อความเป็นเสียงพูด และเปิดซอร์สสมาชิกที่เร็วที่สุดคือ sopro-v2-turbo ซึ่งเป็นโมเดลโคลนเสียงขนาด 120M พารามิเตอร์ที่รันบน CPU ของแล็ปท็อปหรือในเบราว์เซอร์ และรองรับภาษาอังกฤษ เยอรมัน ฝรั่งเศส และโปรตุเกสยุโรป บริษัทรายงานว่าบน CPU Apple M3 สร้างเสียงแบบออฟไลน์ที่ 0.24 RTF และสตรีมที่ 0.21 RTF โดยใช้เวลาประมาณ 300 มิลลิวินาทีถึงเสียงแรก ขณะที่ H100 ตัวเดียวทำได้ 0.07 RTF แบบออฟไลน์ โมเดลนี้ถูกฝึกในสี่ขั้นตอน รวมถึงการกลั่นจากครูขนาด 0.5B และขั้นตอน reflow ที่ลดจำนวนขั้นของตัวแก้เชิงอะคูสติกจาก 32 เหลือ 2; Halo NeuroAI รายงานค่า WER 1.63 บน Seed-TTS test-en และ 1.79 บน LibriSpeech test-clean ภายใต้โปรโตคอล F5-TTS เดโมโลคอลเริ่มต้นด้วยคำสั่งเดียว และเดโม ONNX ในเบราว์เซอร์แบบเต็มไม่ต้องใช้เซิร์ฟเวอร์ แม้ว่าบนมือถือโมเดลจะถูกควอนไทซ์และผลลัพธ์อาจแย่ลงเล็กน้อย และอุปกรณ์ที่มีหน่วยความจำน้อยอาจ crash Halo NeuroAI กล่าวว่าไม่มีแผนจะเปิดซอร์สโค้ดการฝึกในเร็วๆ นี้เนื่องจากความซับซ้อน
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIHalo NeuroAI เปิดซอร์ส Sopro V2 Turbo โมเดล TTS โคลนเสียงขนาด 120M ที่ทำงานบนอุปกรณ์
Halo NeuroAI เปิดตัว Sopro V2 กลุ่มโมเดลแปลงข้อความเป็นเสียง และเปิดซอร์สสมาชิกที่เร็วที่สุดอย่าง sopro-v2-turbo ซึ่งเป็นโมเดลโคลนเสียงขนาด 120M พารามิเตอร์ที่สตรีมบน CPU ของแล็ปท็อปหรือในเบราว์เซอร์ และรองรับภาษาอังกฤษ เยอรมัน ฝรั่งเศส และโปรตุเกสยุโรป บน CPU Apple M3 โมเดลสร้างเสียงแบบออฟไลน์ที่ 0.24 RTF และสตรีมโดยใช้เวลาประมาณ 300 ms ถึงเสียงแรกที่ 0.21 RTF ขณะที่ H100 ตัวเดียวทำได้ 0.07 RTF แบบออฟไลน์ โมเดลนี้สร้างผ่านสี่ขั้นตอนการฝึก รวมถึงการกลั่นจากทีชเชอร์ขนาด 0.5B และ reflow ที่ลดขั้นตอนตัวแก้เชิงอะคูสติกจาก 32 เหลือ 2 และผู้เขียนรายงานค่า WER 1.63 บน Seed-TTS test-en และ 1.79 บน LibriSpeech test-clean ภายใต้โปรโตคอล F5-TTS
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม