Mubit và Neon phát hành mẫu agent giúp cắt giảm token của mô hình frontier
Bắt đầu từ đây
Mubit và Neon công bố mẫu cho một agent phân tích dữ liệu, định tuyến mọi lệnh gọi mô hình qua Mubit tới Neon AI Gateway, nhằm cắt giảm chi phí token của mô hình frontier. Trong benchmark của Mubit trên 20 câu hỏi CL-bench, mỗi câu chạy ba lần, thiết lập này giảm 73% token đầu vào của gpt-5.5 và trả lời nhanh hơn 40%, với độ chính xác 65% so với 60% khi chỉ dùng gpt-5.5. Cơ chế: sau khi một mô hình nhỏ đã tinh chỉnh vượt qua bài kiểm tra được xây dựng từ chính lưu lượng của tác vụ, Mubit giao cho nó các bước thường ngày như liệt kê bảng và viết câu trả lời, trong khi gpt-5.5 vẫn viết mọi truy vấn SQL. Agent chạy trên Neon Functions và Lakebase Postgres. Sử dụng mẫu này yêu cầu một dự án Neon có tín dụng trả trước AI Gateway ở khu vực hỗ trợ Neon Functions và AI Gateway, Node 24+ và Neon CLI đã đăng nhập, cùng một dự án Mubit mà khóa nhà cung cấp duy nhất là khóa Neon AI Gateway. Các con số 73% và 40% đến từ benchmark của chính Mubit, không phải kiểm thử độc lập.
Tạo từ các bài viết · cập nhật 14 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AINeon và Mubit phát hành mẫu cho một agent tự cắt giảm 73% token của mô hình biên giới của chính nó
Neon và Mubit đã công bố một mẫu cho agent phân tích dữ liệu trên Neon Functions và Lakebase Postgres, mẫu này gửi mọi lệnh gọi mô hình qua Mubit đến Neon AI Gateway. Trong bài đánh giá chuẩn của Mubit trên 20 câu hỏi CL-bench, mỗi câu chạy ba lần, thiết lập này đã cắt giảm 73% token đầu vào của gpt-5.5 và trả lời nhanh hơn 40%, với độ chính xác 65% so với 60% khi chỉ dùng gpt-5.5. Mubit chuyển các bước thường quy như liệt kê bảng và viết câu trả lời sang một mô hình nhỏ đã được tinh chỉnh sau khi mô hình này vượt qua một bài kiểm tra được xây dựng từ chính lưu lượng của tác vụ, trong khi gpt-5.5 vẫn viết mọi truy vấn SQL.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.