加速旅遊應用的 LLM：Medusa 結合知識蒸餾

將知識蒸餾與 Medusa 框架結合，讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質，同時執行速度快 10 到 20 倍，成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成，此流程彌合了超過 90% 的品質差距，並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。