CrowdGPT เปิดตัวเครือข่ายการฝึกแบบกระจายศูนย์สำหรับ GPU อิสระ
เริ่มตรงนี้
CrowdGPT ได้เปิดตัวแพลตฟอร์มแบบกระจายศูนย์ที่ฝึกโมเดลภาษาตัวเดียวข้าม GPU อิสระโดยไม่ต้องใช้โครงสร้างพื้นฐานขนาดใหญ่ อุปกรณ์ที่เชื่อมต่อแต่ละเครื่องจะดาวน์โหลดน้ำหนักโกลบอลจาก HuggingFace ฝึกบนแชร์ดข้อมูลโทเคนไนซ์ขนาด 10MB และส่งเดลตาน้ำหนักที่บีบอัดแล้ว เซิร์ฟเวอร์จะตรวจสอบเดลตาแต่ละรายการหาค่า NaN/Inf และตรวจสอบขอบเขตขนาดและนอร์มก่อนจะเฉลี่ยเข้ากับโมเดลโกลบอล ชุดข้อมูลเปิดกว้างเต็มรูปแบบและใครก็สามารถมีส่วนร่วมได้ และน้ำหนักโมเดลจะถูกพุชไปยัง HuggingFace โดยอัตโนมัติเพื่อการตรวจสอบและทดสอบสาธารณะ CrowdGPT นำเสนอการตั้งค่านี้เป็นวิธีประสาน GPU อิสระจำนวนมากให้เป็นโมเดลเดียวที่ cohesive โดยไม่ต้องใช้โครงสร้างพื้นฐานหนัก
สร้างจากรายงาน · อัปเดต 8 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AICrowdGPT: เครือข่ายแบบกระจายศูนย์ที่ฝึกโมเดลภาษาเดียวข้าม GPU อิสระ
CrowdGPT ประสานงาน GPU อิสระเพื่อฝึกโมเดลภาษาหนึ่งเดียวโดยไม่ต้องใช้โครงสร้างพื้นฐานขนาดใหญ่ อุปกรณ์ที่เชื่อมต่อแต่ละเครื่องดาวน์โหลดน้ำหนักระดับโลกจาก HuggingFace ฝึกบนชาร์ดข้อมูลที่แปลงเป็นโทเคนขนาด 10MB และส่งเดลตาน้ำหนักที่บีบอัดแล้ว ซึ่งเซิร์ฟเวอร์จะตรวจสอบค่าความผิดปกติ NaN/Inf ขนาด และขอบเขตของนอร์ม ก่อนนำไปเฉลี่ยรวมเข้าในโมเดลระดับโลก
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 8
- จุดสูงสุดในช่วงที่เทียบได้
- 1016 พฤศจิกายน 09:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู