Bộ định tuyến Sovereign của Solibra học cách chọn mô hình mà không cần nhãn
Bắt đầu từ đây
Solibra đã xây dựng Sovereign, một bộ định tuyến nằm giữa ứng dụng và các nhà cung cấp mô hình, học theo từng yêu cầu nên dùng mô hình nào bằng cách tự chấm điểm công việc đã hoàn thành của chính nó — không có đáp án và không có kiến thức trước về các mô hình. Nó nói cùng các API như các nhà cung cấp, nên việc áp dụng chỉ là thay đổi cấu hình thay vì viết lại, dù mỗi yêu cầu thêm một quyết định định tuyến khoảng nửa giây. Trên tám bộ đánh giá công khai so với Claude Opus 5.5 và Claude Haiku 5.5, Solibra báo cáo Sovereign chi ít hơn Opus từ 43% đến 81% trên mọi bộ đánh giá, đạt hoặc vượt độ chính xác của Opus trên USACO, LiveCodeBench và SATBench, và chính xác hơn Haiku ở mọi nơi, cao hơn tới 55 điểm trên USACO. Trên USACO, độ chính xác của nó tăng từ 88% trong 25 tác vụ đầu lên 97,7% vào cuối, vượt Opus khoảng tác vụ thứ 150, và bộ chấm điểm của nó đồng ý với đáp án ẩn 95% số lần. Solibra cho biết những con số này đến từ các lần chạy đơn lẻ, với chi phí được đo bằng chi tiêu cho mô hình theo giá niêm yết.
Tạo từ các bài viết · cập nhật 12 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AISovereign: một router học cách tin tưởng mô hình nào mà không cần nhãn
Solibra đã xây dựng Sovereign, một router nằm giữa ứng dụng và các nhà cung cấp mô hình, học cách chọn mô hình cho từng yêu cầu dựa trên điểm đánh giá chính công việc đã hoàn thành của nó, không có đáp án và không có kiến thức trước về các mô hình. Trên tám benchmark công khai chạy với Claude Opus 5.5 và Claude Haiku 5.5, Sovereign chi ít hơn Opus từ 43% đến 81% trên mọi benchmark, đạt hoặc vượt độ chính xác của Opus trên USACO, LiveCodeBench và SATBench, và chính xác hơn Haiku ở mọi nơi, lên tới 55 điểm trên USACO. Trên USACO, độ chính xác của nó tăng từ 88% trong 25 tác vụ đầu lên 97,7% vào cuối, vượt Opus vào khoảng tác vụ thứ 150, và bộ chấm điểm của nó đồng ý với đáp án ẩn 95% số lần.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.