ข้ามไปที่เนื้อหา
Hacker News · AI·· 4 ชม. ที่แล้วคะแนน AI38

การสลับ LLM กลางบทสนทนาเป็นปัญหาการเช่าสกี

Switching LLMs mid-conversation is a ski-rental problem

สรุปโดย AI

Agent Gateway ของ Edgee มองการกำหนดเส้นทาง LLM ในเซสชันเขียนโค้ดเป็นปัญหาสองส่วนที่เชื่อมโยงกัน ได้แก่ แผนที่ระดับความยากที่กำหนดโมเดลให้แต่ละเทิร์น และนโยบายการสลับที่ตัดสินว่าเซสชันที่กำลังทำงานอยู่จะเปลี่ยนโมเดลจริงเมื่อใด เนื่องจากผู้ให้บริการแคชประวัติบทสนทนาไว้ ทุกครั้งที่สลับโมเดลจะทิ้งแคชที่อุ่นอยู่และต้องจ่ายเพื่อสร้างใหม่ ดังนั้นเกตเวย์จึงวางกรอบการสลับเป็นปัญหาออนไลน์แบบการเช่าสกี Self-Learning Routing จะเล่นซ้ำเซสชันขององค์กรใน 30 วันที่ผ่านมาทุกสัปดาห์ เพื่อเลือกแผนที่ระดับและค่าตั้งการสลับที่ถูกที่สุดซึ่งทำให้ทุกเทิร์นอยู่บนโมเดลที่สามารถทำงานได้

แหล่งข่าว:Hacker News · AI · edgee.ai