Tới nội dung
Hacker News · AI·· 12 giờ trướcĐiểm AI38

Khung AXI: Một lớp phía máy chủ để cắt giảm chi phí tác vụ AI

AXI Framework: The Cure for the Cost Crisis in AI

Tóm tắt bằng AI

AXI là một lớp phía máy chủ giữ trạng thái chính xác của một tác vụ AI bên ngoài cuộc trò chuyện và kiểm tra từng phản hồi bằng một cổng tất định trước khi áp dụng nó. Các bài kiểm tra đăng ký trước trên Gemini 3.8 Flash, các mô hình mở, NVIDIA T4 và L4, và Google TPU v6e báo cáo trạng thái chính xác trên 1.500 trong số 1.500 bước, prompt nhỏ hơn trung bình 169 lần, và một bước chính xác rẻ hơn 4,5 đến 9,3 lần. Cùng các bài kiểm tra đó báo cáo số phiên nhiều hơn tới 185 lần trên mỗi chip nhờ dư địa bộ nhớ, với các dự đoán được khóa bằng hàm băm trước mỗi lần chạy.

Nguồn:Hacker News · AI · zenodo.org