LiveKit kiểm thử Gemini 4 Hydrogen trong một voice agent có công cụ bị hỏng
Bắt đầu từ đây
LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch, nơi công cụ đặt phòng khách sạn bị cố ý làm hỏng. Theo thử nghiệm của LiveKit, qua 54 bản ghi hội thoại, Hydrogen tạo ra 0 báo cáo đặt phòng sai so với 2 của 3.8 Flash. Với Hydrogen ở mức thinking cao và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây); khi cả hai ở mức thấp, nó đến sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking trung bình hoặc cao cho voice agent, với lý do mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây. Hydrogen có sẵn trên LiveKit Inference dưới tên google/gemini-4-hydrogen mà không cần khóa API Google; các mức thinking cho model Gemini 4 yêu cầu phiên bản 1.8.10 trở lên, và token thinking được tính vào max_output_tokens.
Tạo từ các bài viết · cập nhật 34 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- LiveKit BlogTuyển chọnLiveKit thử nghiệm Gemini 4 Hydrogen so với 3.8 Flash trong một voice agent với các công cụ bị cố ý làm hỏng
LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch với các công cụ bị cố ý làm lỗi, và Hydrogen tạo ra 0 báo cáo đặt chỗ sai trên 54 bản ghi, so với 2 của 3.8 Flash. Với Hydrogen ở mức high và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây), và ở mức low trên cả hai thì sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking medium hoặc high cho voice agent, lưu ý mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.