ข้ามไปที่เนื้อหา
Hacker News · AI·· 12 ชม. ที่แล้วคะแนน AI38

AXI Framework: ชั้นฝั่งโฮสต์เพื่อลดต้นทุนงาน AI

AXI Framework: The Cure for the Cost Crisis in AI

สรุปโดย AI

AXI เป็นชั้นฝั่งโฮสต์ที่เก็บสถานะที่แน่นอนของงาน AI ไว้นอกแชท และตรวจสอบแต่ละคำตอบด้วยเกตแบบดีเทอร์มินิสติกก่อนนำไปใช้ การทดสอบที่ลงทะเบียนล่วงหน้าบน Gemini 3.8 Flash, โมเดลโอเพนซอร์ส, NVIDIA T4 และ L4 และ Google TPU v6e รายงานสถานะที่แน่นอนใน 1,500 จาก 1,500 ขั้น พรอมป์ต์เล็กลงโดยเฉลี่ย 169 เท่า และหนึ่งขั้นที่แน่นอนมีต้นทุนถูกกว่า 4.5 ถึง 9.3 เท่า การทดสอบเดียวกันรายงานเซสชันต่อชิปเพิ่มขึ้นสูงสุด 185 เท่าจากพื้นที่หน่วยความจำที่เหลือ โดยมีการล็อกแฮชการคาดการณ์ก่อนการรันแต่ละครั้ง

แหล่งข่าว:Hacker News · AI · zenodo.org