ความหมายของ "inference is slower than realtime" ใน LiveKit voice agents
LiveKit อธิบายว่าคำเตือน "inference is slower than realtime" ใน voice agents ของ LiveKit หมายถึงโมเดล VAD ภายในเครื่อง ไม่ใช่โมเดล STT, TTS หรือ LLM ที่ใช้ผ่าน LiveKit Inference หน้าต่างเสียงขนาด 32ms แต่ละช่วงต้องถูกประมวลผลให้เสร็จภายใน 32ms และความล่าช้าที่รายงานแสดงว่า VAD ตามเสียงสดไม่ทันมากน้อยเพียงใด สาเหตุหลักคือ event loop ที่ถูกบล็อกและ CPU ที่อิ่มตัว และวิธีแก้คือการตัดโค้ดแบบ synchronous ออก ไม่ใช่การเพิ่ม thread