Tới nội dung
Google AI · DEV· Patrick Kelly·· 3 giờ trướcĐiểm AI58

Kiểm thử Gemini Decision 1: 800 kịch bản cho thấy câu hỏi hẹp vượt trội câu hỏi rộng

Exploring Decision Models, Part 1: Putting Gemini Decision 1 to the Test

Tóm tắt bằng AI

Một bài kiểm thử độc lập Gemini Decision 1 của Google trên 800 kịch bản thuộc 24 danh mục cho thấy việc tách một câu hỏi định tuyến rộng thành bốn hoặc năm câu hỏi hẹp đã nâng độ chính xác từ 0,72 lên 0,88. Định tuyến hỗ trợ khách hàng đạt độ chính xác gần 100% với 230ms mỗi yêu cầu và 0,34 USD cho 10.000 yêu cầu, phát hiện prompt injection đạt 99,7%, lọc cập nhật bộ nhớ đạt 88%, trong khi dự đoán phản đối của người dùng chỉ đạt 46% và việc tách tệp mã để truy xuất bị phương pháp mã tất định thông thường đánh bại. Mô hình trả về true/false, một điểm số hoặc một danh mục trong một lượt, tốn 0,10 USD cho mỗi triệu token đầu vào và không tốn phí token đầu ra, và xử lý 100 câu hỏi trong khoảng 250ms so với 180ms cho một câu hỏi.

Nguồn:Google AI · DEV · dev.to