Tới nội dung
Sự việc nóngĐang diễn ra

Đánh giá độc lập Gemini Decision 1 trên 800 kịch bản

1 bài viết1 nguồn đưa tinCập nhật 3 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Patrick Kelly đã công bố một đánh giá thực nghiệm độc lập về Gemini Decision 1 của Google trên 800 kịch bản thuộc 24 hạng mục, được xây dựng từ các phiên lập trình của chính ông và một bộ dữ liệu công khai. Ông báo cáo rằng việc tách một câu hỏi định tuyến rộng thành bốn hoặc năm câu hỏi hẹp đã nâng độ chính xác từ 0,72 lên 0,88; định tuyến hỗ trợ khách hàng đạt gần 100% với 230ms mỗi yêu cầu và 0,34 USD cho 10.000 yêu cầu, phát hiện prompt injection đạt 99,7%, và lọc cập nhật bộ nhớ đạt 88%. Dự đoán phản ứng của người dùng đạt 46%, và việc tách tệp mã để truy xuất bị phương pháp mã tất định thông thường đánh bại. Mô hình trả về true/false, một điểm số, hoặc một hạng mục trong một lần chạy. Kelly cho biết chi phí là 0,10 USD cho mỗi triệu token đầu vào và không có chi phí token đầu ra, cộng thêm tối đa 10.000 yêu cầu miễn phí mỗi ngày trên gói miễn phí của Google, và có thể hỏi tới 1.000 câu trong một yêu cầu duy nhất với độ trễ tăng thêm không đáng kể cho mỗi câu; 100 câu mất khoảng 250ms so với 180ms cho một câu. Ông lưu ý rằng các bài kiểm tra chưa toàn diện.

Tạo từ các bài viết · cập nhật 3 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

20 tháng 11
  1. Google AI · DEV
    Kiểm thử Gemini Decision 1: 800 kịch bản cho thấy câu hỏi hẹp vượt trội câu hỏi rộng

    Một bài kiểm thử độc lập Gemini Decision 1 của Google trên 800 kịch bản thuộc 24 danh mục cho thấy việc tách một câu hỏi định tuyến rộng thành bốn hoặc năm câu hỏi hẹp đã nâng độ chính xác từ 0,72 lên 0,88. Định tuyến hỗ trợ khách hàng đạt độ chính xác gần 100% với 230ms mỗi yêu cầu và 0,34 USD cho 10.000 yêu cầu, phát hiện prompt injection đạt 99,7%, lọc cập nhật bộ nhớ đạt 88%, trong khi dự đoán phản đối của người dùng chỉ đạt 46% và việc tách tệp mã để truy xuất bị phương pháp mã tất định thông thường đánh bại. Mô hình trả về true/false, một điểm số hoặc một danh mục trong một lượt, tốn 0,10 USD cho mỗi triệu token đầu vào và không tốn phí token đầu ra, và xử lý 100 câu hỏi trong khoảng 250ms so với 180ms cho một câu hỏi.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
9
Đỉnh, trong khoảng so sánh được
1020 tháng 11 01:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.