ข้ามไปที่เนื้อหา
Hacker News · AI·· 11 ชม. ที่แล้วคัดสรรคะแนน AI88

Edge0 เปิดซอร์สโมเดลออนดีไวซ์ Edge0-145B และ Edge0-120B พร้อมเฟรมเวิร์กอินเฟอเรนซ์

Edge0-145B: Frontier AI Capabilities on Your Own Computer

สรุปโดย AI

Edge0 เปิดซอร์ส Edge0-145B และ Edge0-120B พร้อมเฟรมเวิร์กอินเฟอเรนซ์แบบรวมศูนย์และเครื่องมือสำหรับการดีพลอย โดยอ้างว่า Edge0-145B เป็นโมเดลออนดีไวซ์ขนาด 145B พารามิเตอร์ตัวแรกที่เปิดซอร์ส บริษัทรายงานว่ามีหน่วยความจำสูงสุด 29GB, พรีฟิลล์เกิน 1,100 โทเคน/วินาที, ดีโค้ดเกิน 80 โทเคน/วินาที และใช้พลังงานทั่วไปประมาณ 120W บนแล็ปท็อปที่รองรับ โดยมีคอนเท็กซ์ 128K–256K บริษัทอ้างคะแนนภายในที่ 64.6 บน DeepSWE 1.1, 86.52 บน Terminal-Bench 2.1, 90.4 บน GPQA-Diamond และ 80.6 บน IFBench และระบุว่าน้ำหนักโมเดลอยู่บน Hugging Face พร้อมรองรับ macOS, Windows และ Linux ตั้งแต่วันแรก

ทำไมเรื่องนี้สำคัญ

Edge0 เปิดซอร์สโมเดลออนดีไวซ์ขนาด 145B ที่รายงานหน่วยความจำสูงสุด 29GB และดีโค้ดเกิน 80 โทเคน/วินาที ซึ่งเป็นข้อมูลเชิงประจักษ์ว่าการอินเฟอเรนซ์ในเครื่องสามารถขยายขนาดได้ไกลเพียงใด

แหล่งข่าว:Hacker News · AI · edge0.ai