ข้ามไปที่เนื้อหา
Import AI· Jack Clark·· 11 วันที่แล้วคะแนน AI42

Import AI 479: Spacewar, งานความหน่วงต่ำกับ LLMs, Genie 4

Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4

สรุปโดย AI

Import AI 479 ครอบคลุม Realtime-Bench ซึ่งเป็นชุดทดสอบ 50 งาน ประกอบด้วย 30 งานเว็บและ 20 งานเกม สร้างโดยนักวิจัยจาก UT Austin, Ohio State, UIUC, NVIDIA, Northwestern และ Steadyworks เพื่อทดสอบว่าโมเดลระดับแนวหน้าสามารถทำงานภายใต้แรงกดดันแบบเรียลไทม์ได้หรือไม่ GPT-6 Astra (high) ทำคะแนนอัตราผ่านตามเวลาจริงได้สูงสุดที่ 36% ขณะที่การรันแบบหยุดนาฬิกาทำให้โมเดลที่มีการให้เหตุผลสูงเข้าถึงประมาณ 70% ถึง 80% ฉบับนี้ยังครอบคลุมรายงาน "Challenges to Security in Space" ของ Defense Intelligence Agency และ Genie 4

แหล่งข่าว:Import AI · importai.substack.com