LiveKit ทดสอบ Gemini 4 Hydrogen ใน voice agent ที่มีเครื่องมือเสีย
เริ่มตรงนี้
LiveKit ทดสอบ Gemini 4 Hydrogen และ Gemini 3.8 Flash ผ่าน Google plugin เดียวกันใน voice travel-concierge agent ที่เครื่องมือจองโรงแรมถูกทำให้เสียโดยเจตนา จากบทสนทนา 54 รายการ Hydrogen สร้างรายงานการจองปลอม 0 ครั้ง เทียบกับ 2 ครั้งของ 3.8 Flash ตามการทดสอบของ LiveKit เมื่อใช้ Hydrogen ที่ระดับ thinking สูงและ 3.8 Flash ที่ค่าเริ่มต้น ประโยคแรกของ Hydrogen มาถึงเร็วกว่า 1.2 วินาที (4.0 วินาที เทียบกับ 5.2 วินาที) เมื่อทั้งคู่อยู่ที่ระดับต่ำ เร็วขึ้น 1.7 วินาที (2.8 วินาที เทียบกับ 4.6 วินาที) ผู้เขียนแนะนำให้ใช้ thinking ระดับกลางหรือสูงสำหรับ voice agent โดยอ้างถึงค่ามัธยฐาน 7.8 วินาทีถึงประโยคแรกของ xhigh และกรณีแย่ที่สุด 52 วินาที Hydrogen ใช้งานได้บน LiveKit Inference ในชื่อ google/gemini-4-hydrogen โดยไม่ต้องใช้ Google API key ระดับ thinking สำหรับโมเดล Gemini 4 ต้องใช้เวอร์ชัน 1.8.10 ขึ้นไป และ thinking tokens นับรวมใน max_output_tokens
สร้างจากรายงาน · อัปเดต 33 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- LiveKit BlogคัดสรรLiveKit ทดสอบ Gemini 4 Hydrogen กับ 3.8 Flash ในวอยซ์เอเจนต์ที่มีเครื่องมือที่จงใจทำให้พัง
LiveKit ทดสอบ Gemini 4 Hydrogen และ Gemini 3.8 Flash ผ่านปลั๊กอิน Google ตัวเดียวกันในวอยซ์เอเจนต์ผู้ช่วยท่องเที่ยว โดยมีเครื่องมือที่จงใจให้ล้มเหลว ผลปรากฏว่า Hydrogen รายงานการจองผิดพลาด 0 ครั้งจากบทสนทนา 54 รายการ เทียบกับ 2 ครั้งของ 3.8 Flash เมื่อใช้ Hydrogen ที่ระดับ high และ 3.8 Flash ที่ระดับ default ประโยคแรกของ Hydrogen มาถึงเร็วกว่า 1.2 วินาที (4.0 วินาที เทียบกับ 5.2 วินาที) และเมื่อใช้ระดับ low ทั้งคู่ เร็วขึ้น 1.7 วินาที (2.8 วินาที เทียบกับ 4.6 วินาที) ผู้เขียนแนะนำให้ใช้ระดับ thinking medium หรือ high สำหรับวอยซ์เอเจนต์ โดยระบุว่าที่ระดับ xhigh มีค่ามัธยฐาน 7.8 วินาทีถึงประโยคแรก และกรณีแย่ที่สุด 52 วินาที
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม