跳到正文
Hacker News · AI·· 12 小时前AI 评分38

AXI 框架:削减 AI 作业成本的主机侧层

AXI Framework: The Cure for the Cost Crisis in AI

AI 导读

AXI 是一个主机侧层,它将 AI 作业的精确状态保存在聊天之外,并在应用每个回复之前用确定性门控进行检查。在 Gemini 3.8 Flash、开源模型、NVIDIA T4 和 L4 以及 Google TPU v6e 上进行的预注册测试报告称,1,500 步中有 1,500 步实现了精确状态,提示平均缩小 169 倍,一个精确步骤的成本降低 4.5 至 9.3 倍。同样的测试报告称,得益于内存余量,每芯片的会话数最多增加 185 倍,且每次运行前预测均经过哈希锁定。

来源:Hacker News · AI · zenodo.org