ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

CrowdGPT เปิดตัวเครือข่ายการฝึกแบบกระจายศูนย์สำหรับ GPU อิสระ

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 8 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

CrowdGPT ได้เปิดตัวแพลตฟอร์มแบบกระจายศูนย์ที่ฝึกโมเดลภาษาตัวเดียวข้าม GPU อิสระโดยไม่ต้องใช้โครงสร้างพื้นฐานขนาดใหญ่ อุปกรณ์ที่เชื่อมต่อแต่ละเครื่องจะดาวน์โหลดน้ำหนักโกลบอลจาก HuggingFace ฝึกบนแชร์ดข้อมูลโทเคนไนซ์ขนาด 10MB และส่งเดลตาน้ำหนักที่บีบอัดแล้ว เซิร์ฟเวอร์จะตรวจสอบเดลตาแต่ละรายการหาค่า NaN/Inf และตรวจสอบขอบเขตขนาดและนอร์มก่อนจะเฉลี่ยเข้ากับโมเดลโกลบอล ชุดข้อมูลเปิดกว้างเต็มรูปแบบและใครก็สามารถมีส่วนร่วมได้ และน้ำหนักโมเดลจะถูกพุชไปยัง HuggingFace โดยอัตโนมัติเพื่อการตรวจสอบและทดสอบสาธารณะ CrowdGPT นำเสนอการตั้งค่านี้เป็นวิธีประสาน GPU อิสระจำนวนมากให้เป็นโมเดลเดียวที่ cohesive โดยไม่ต้องใช้โครงสร้างพื้นฐานหนัก

สร้างจากรายงาน · อัปเดต 8 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

16 พฤศจิกายน
  1. Hacker News · AI
    CrowdGPT: เครือข่ายแบบกระจายศูนย์ที่ฝึกโมเดลภาษาเดียวข้าม GPU อิสระ

    CrowdGPT ประสานงาน GPU อิสระเพื่อฝึกโมเดลภาษาหนึ่งเดียวโดยไม่ต้องใช้โครงสร้างพื้นฐานขนาดใหญ่ อุปกรณ์ที่เชื่อมต่อแต่ละเครื่องดาวน์โหลดน้ำหนักระดับโลกจาก HuggingFace ฝึกบนชาร์ดข้อมูลที่แปลงเป็นโทเคนขนาด 10MB และส่งเดลตาน้ำหนักที่บีบอัดแล้ว ซึ่งเซิร์ฟเวอร์จะตรวจสอบค่าความผิดปกติ NaN/Inf ขนาด และขอบเขตของนอร์ม ก่อนนำไปเฉลี่ยรวมเข้าในโมเดลระดับโลก

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
8
จุดสูงสุดในช่วงที่เทียบได้
1016 พฤศจิกายน 09:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู