การทดสอบอิสระของ Gemini Decision 1 ใน 800 สถานการณ์
เริ่มตรงนี้
Patrick Kelly เผยแพร่การประเมินแบบลงมือทำด้วยตนเองอย่างอิสระต่อ Gemini Decision 1 ของ Google ใน 800 สถานการณ์ ครอบคลุม 24 หมวดหมู่ ซึ่งสร้างขึ้นจากเซสชันการเขียนโค้ดของเขาเองและชุดข้อมูลสาธารณะ เขารายงานว่าการแยกคำถามการจัดเส้นทางแบบกว้างหนึ่งข้อออกเป็นคำถามแคบสี่หรือห้าข้อช่วยเพิ่มความแม่นยำจาก 0.72 เป็น 0.88 การจัดเส้นทางสำหรับฝ่ายสนับสนุนลูกค้าทำได้เกือบ 100% ที่ 230ms ต่อคำขอ และ $0.34 ต่อ 10,000 คำขอ การตรวจจับ prompt injection ได้ 99.7% และการกรองการอัปเดตหน่วยความจำได้ 88% การคาดการณ์การโต้แย้งของผู้ใช้ได้คะแนน 46% และการแยกไฟล์โค้ดเพื่อการดึงข้อมูลนั้นแพ้ให้กับโค้ดแบบ deterministic ธรรมดา โมเดลจะคืนค่า true/false คะแนน หรือหมวดหมู่ในการเรียกครั้งเดียว Kelly กล่าวว่ามีค่าใช้จ่าย $0.10 ต่อหนึ่งล้านโทเค็นอินพุต โดยไม่มีค่าใช้จ่ายโทเค็นเอาต์พุต และมีคำขอฟรีสูงสุด 10,000 ครั้งต่อวันในระดับฟรีของ Google และสามารถถามได้สูงสุด 1,000 คำถามในการเรียกครั้งเดียวโดยมีความหน่วงเพิ่มขึ้นเล็กน้อยต่อคำถาม 100 คำถามใช้เวลาประมาณ 250ms เทียบกับ 180ms สำหรับหนึ่งคำถาม เขาระบุว่าการทดสอบเหล่านี้ไม่ได้ครอบคลุมทุกด้าน
สร้างจากรายงาน · อัปเดต 3 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Google AI · DEVทดสอบ Gemini Decision 1: 800 สถานการณ์แสดงว่าคำถามแคบชนะคำถามกว้าง
การทดสอบอิสระของ Gemini Decision 1 จาก Google ใน 800 สถานการณ์ใน 24 หมวดหมู่พบว่าการแยกคำถามจัดเส้นทางแบบกว้างหนึ่งข้อออกเป็นคำถามแคบสี่หรือห้าข้อช่วยเพิ่มความแม่นยำจาก 0.72 เป็น 0.88 การจัดเส้นทางฝ่ายสนับสนุนลูกค้าได้ความแม่นยำเกือบ 100% ที่ 230ms ต่อคำขอและ $0.34 ต่อ 10,000 คำขอ การตรวจจับ prompt injection ได้ 99.7% และการกรองการอัปเดตหน่วยความจำได้ 88% ขณะที่การทำนายการโต้แย้งของผู้ใช้ได้ 46% และการแยกไฟล์โค้ดเพื่อการดึงข้อมูลนั้นแพ้โค้ดแบบ deterministic ธรรมดา โมเดลคืนค่า true/false, คะแนน หรือหมวดหมู่ในการเรียกครั้งเดียว ราคา $0.10 ต่อล้านโทเค็นอินพุตโดยไม่มีค่าใช้จ่ายโทเค็นเอาต์พุต และจัดการ 100 คำถามในประมาณ 250ms เทียบกับ 180ms สำหรับหนึ่งคำถาม
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 9
- จุดสูงสุดในช่วงที่เทียบได้
- 1020 พฤศจิกายน 01:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู