Hacker News · AI·· 8 ชม. ที่แล้วคะแนน AI40
CrowdGPT: เครือข่ายแบบกระจายศูนย์ที่ฝึกโมเดลภาษาเดียวข้าม GPU อิสระ
CrowdGPT – AI Owned by Everyone
สรุปโดย AI
CrowdGPT ประสานงาน GPU อิสระเพื่อฝึกโมเดลภาษาหนึ่งเดียวโดยไม่ต้องใช้โครงสร้างพื้นฐานขนาดใหญ่ อุปกรณ์ที่เชื่อมต่อแต่ละเครื่องดาวน์โหลดน้ำหนักระดับโลกจาก HuggingFace ฝึกบนชาร์ดข้อมูลที่แปลงเป็นโทเคนขนาด 10MB และส่งเดลตาน้ำหนักที่บีบอัดแล้ว ซึ่งเซิร์ฟเวอร์จะตรวจสอบค่าความผิดปกติ NaN/Inf ขนาด และขอบเขตของนอร์ม ก่อนนำไปเฉลี่ยรวมเข้าในโมเดลระดับโลก
แหล่งข่าว:Hacker News · AI · crowdgpt.net