加速旅行应用中的LLM：Medusa与知识蒸馏

将知识蒸馏与Medusa框架结合，使拥有11亿参数的TinyLlama学生模型在质量上匹配其700亿参数的Llama-3.1教师模型，同时运行速度快10至20倍，成本不到三分之一。在与Booking.com合作开发AI Trip Planner、Smart Filters和住宿描述生成时，该流程弥合了超过90%的质量差距，并通过Medusa头额外实现了2至3.6倍的加速。