ข้ามไปที่เนื้อหา
Google AI · DEV· Patrick Kelly·· 3 ชม. ที่แล้วคะแนน AI58

ทดสอบ Gemini Decision 1: 800 สถานการณ์แสดงว่าคำถามแคบชนะคำถามกว้าง

Exploring Decision Models, Part 1: Putting Gemini Decision 1 to the Test

สรุปโดย AI

การทดสอบอิสระของ Gemini Decision 1 จาก Google ใน 800 สถานการณ์ใน 24 หมวดหมู่พบว่าการแยกคำถามจัดเส้นทางแบบกว้างหนึ่งข้อออกเป็นคำถามแคบสี่หรือห้าข้อช่วยเพิ่มความแม่นยำจาก 0.72 เป็น 0.88 การจัดเส้นทางฝ่ายสนับสนุนลูกค้าได้ความแม่นยำเกือบ 100% ที่ 230ms ต่อคำขอและ $0.34 ต่อ 10,000 คำขอ การตรวจจับ prompt injection ได้ 99.7% และการกรองการอัปเดตหน่วยความจำได้ 88% ขณะที่การทำนายการโต้แย้งของผู้ใช้ได้ 46% และการแยกไฟล์โค้ดเพื่อการดึงข้อมูลนั้นแพ้โค้ดแบบ deterministic ธรรมดา โมเดลคืนค่า true/false, คะแนน หรือหมวดหมู่ในการเรียกครั้งเดียว ราคา $0.10 ต่อล้านโทเค็นอินพุตโดยไม่มีค่าใช้จ่ายโทเค็นเอาต์พุต และจัดการ 100 คำถามในประมาณ 250ms เทียบกับ 180ms สำหรับหนึ่งคำถาม

แหล่งข่าว:Google AI · DEV · dev.to