Lemon Slice 如何用 Modal 和 Daily 打造即時生成式影片

Lemon Slice 打造了 Lemon Slice Live，這是一款能與 AI 角色進行即時視訊對話的產品，運用 Modal 和 Daily 的低延遲基礎元件，達到端到端視訊回應延遲 3-6 秒。此管線在各自獨立的 Modal 容器上執行 Pipecat 伺服器與 1B 參數的影片模型，兩者透過 Modal 的 Tunnel 通訊，並藉由區域選擇機制部署在同一區域；語音轉文字、LLM 回應與文字轉語音則分別由 Deepgram、Grok 和 ElevenLabs 處理。更早之前，兩個 Python Modal Functions 讓 Lemon Slice 得以擴展到每小時 10,000 次請求，而無需管理 ECS 叢集、工作佇列或負載平衡器。