Tới nội dung
Hacker News · AI·· 12 giờ trướcĐiểm AI58

Sovereign: một router học cách tin tưởng mô hình nào mà không cần nhãn

Adaptive Routing: Learning which model to trust

Tóm tắt bằng AI

Solibra đã xây dựng Sovereign, một router nằm giữa ứng dụng và các nhà cung cấp mô hình, học cách chọn mô hình cho từng yêu cầu dựa trên điểm đánh giá chính công việc đã hoàn thành của nó, không có đáp án và không có kiến thức trước về các mô hình. Trên tám benchmark công khai chạy với Claude Opus 5.5 và Claude Haiku 5.5, Sovereign chi ít hơn Opus từ 43% đến 81% trên mọi benchmark, đạt hoặc vượt độ chính xác của Opus trên USACO, LiveCodeBench và SATBench, và chính xác hơn Haiku ở mọi nơi, lên tới 55 điểm trên USACO. Trên USACO, độ chính xác của nó tăng từ 88% trong 25 tác vụ đầu lên 97,7% vào cuối, vượt Opus vào khoảng tác vụ thứ 150, và bộ chấm điểm của nó đồng ý với đáp án ẩn 95% số lần.

Nguồn:Hacker News · AI · sov.solibra.ai