Hacker News · AI·· 12 小時前AI 評分38
AXI 框架:削減 AI 任務成本的主機端層
AXI Framework: The Cure for the Cost Crisis in AI
AI 導讀
AXI 是一個主機端層,將 AI 任務的精確狀態保存在對話之外,並在套用每個回覆前以確定性閘門檢查。在 Gemini 3.8 Flash、開放模型、NVIDIA T4 與 L4,以及 Google TPU v6e 上進行的預註冊測試回報:1,500 步中有 1,500 步達到精確狀態、提示平均縮小 169 倍,且一個精確步驟便宜 4.5 至 9.3 倍。相同測試回報,受惠於記憶體餘裕,每顆晶片的會話數最多增加 185 倍,且預測在每次執行前皆以雜湊鎖定。
來源:Hacker News · AI · zenodo.org