inclusionAI phát hành SingProbe, guardrail streaming cho DeepSeek-V4.1-Flash
Bắt đầu từ đây
inclusionAI đã phát hành SingProbe, một đầu dò guardrail streaming cho DeepSeek-V4.1-Flash-1017, đọc ba lớp trạng thái ẩn của mô hình cơ sở trong quá trình sinh và chấm điểm ý định truy vấn, mức không an toàn của phản hồi và rủi ro ảo giác tại mỗi token. Đầu dò 10,10M tham số này lấy từ các lớp 12, 25 và 39 với 8 attention head, chiều head là 64 và cửa sổ 2.048 token; trọng số bfloat16 của nó được công khai. inclusionAI báo cáo F1 đạt 0,8756 trên ý định truy vấn và 0,8668 trên an toàn phản hồi, với AUC streaming là 0,9907 và AUC ảo giác là 0,7951. Ngưỡng phát hành được hiệu chỉnh ở 0,5 cho mức không an toàn của phản hồi và 0,5 cho ảo giác. Để chạy nó cần bản build token-probe từ nhánh SGLang 261029, wheel đã cài đặt, cả hai thư mục mô hình được mount và tám GPU H20.
Tạo từ các bài viết · cập nhật 7 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- inclusionAI ModelsDeepSeek-V4.1-Flash-1017-singprobe: Ra mắt SingProbe - hàng rào bảo vệ streaming
SingProbe là một hàng rào bảo vệ streaming nội tại dành cho DeepSeek-V4.1-Flash-1017, đọc ba lớp trạng thái ẩn của mô hình cơ sở trong quá trình sinh và chấm điểm ý định truy vấn, mức độ không an toàn của phản hồi và rủi ro ảo giác tại mỗi token. Probe có 10,10M tham số này lấy mẫu từ các lớp 12, 25 và 39 với 8 attention head, chiều head là 64 và cửa sổ 2.048 token, và trọng số bfloat16 của nó đã được phát hành. Nó đạt F1 0,8756 về ý định truy vấn và 0,8668 về an toàn phản hồi, với AUC streaming là 0,9907 và AUC ảo giác là 0,7951.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 819 tháng 11 20:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.