LiveKit ทดสอบ Gemini 4 Hydrogen กับ 3.8 Flash ในวอยซ์เอเจนต์ที่มีเครื่องมือที่จงใจทำให้พัง
Gemini 4 Hydrogen vs 3.8 Flash in a voice agent with broken tools
LiveKit ทดสอบ Gemini 4 Hydrogen และ Gemini 3.8 Flash ผ่านปลั๊กอิน Google ตัวเดียวกันในวอยซ์เอเจนต์ผู้ช่วยท่องเที่ยว โดยมีเครื่องมือที่จงใจให้ล้มเหลว ผลปรากฏว่า Hydrogen รายงานการจองผิดพลาด 0 ครั้งจากบทสนทนา 54 รายการ เทียบกับ 2 ครั้งของ 3.8 Flash เมื่อใช้ Hydrogen ที่ระดับ high และ 3.8 Flash ที่ระดับ default ประโยคแรกของ Hydrogen มาถึงเร็วกว่า 1.2 วินาที (4.0 วินาที เทียบกับ 5.2 วินาที) และเมื่อใช้ระดับ low ทั้งคู่ เร็วขึ้น 1.7 วินาที (2.8 วินาที เทียบกับ 4.6 วินาที) ผู้เขียนแนะนำให้ใช้ระดับ thinking medium หรือ high สำหรับวอยซ์เอเจนต์ โดยระบุว่าที่ระดับ xhigh มีค่ามัธยฐาน 7.8 วินาทีถึงประโยคแรก และกรณีแย่ที่สุด 52 วินาที
การทดสอบภาคปฏิบัติของ LiveKit แสดงให้เห็นว่า Gemini 4 Hydrogen รายงานทุกการเรียกเครื่องมือที่จงใจทำให้พัง และเริ่มตอบกลับเร็วกว่า 3.8 Flash พร้อมข้อมูลความหน่วงแยกตามระดับ thinking สำหรับวอยซ์เอเจนต์
แหล่งข่าว:LiveKit Blog · livekit.com