Edgee มองการสลับ LLM กลางเซสชันเป็นปัญหาการเช่าสกี
เริ่มตรงนี้
Edgee เผยแพร่บทอธิบายเชิงเทคนิคที่อธิบายว่า Agent Gateway ของตนจัดการการสลับ LLM กลางบทสนทนาในเซสชันเขียนโค้ดอย่างไร โดยวางกรอบการตัดสินใจนี้เป็นปัญหาออนไลน์แบบการเช่าสกี เกตเวย์ถือว่าการกำหนดเส้นทางเป็นสองส่วนที่เชื่อมกัน คือ แผนที่ระดับความยากที่กำหนดโมเดลให้แต่ละเทิร์น และนโยบายการสลับที่ตัดสินว่าเซสชันที่กำลังทำงานจะเปลี่ยนโมเดลจริงเมื่อใด เนื่องจากผู้ให้บริการแคชประวัติบทสนทนาไว้ การสลับแต่ละครั้งจึงทิ้งแคชที่อุ่นอยู่และต้องจ่ายเพื่อสร้างใหม่ ซึ่งเป็นเหตุผลที่ Edgee มองการสลับเป็นข้อแลกเปลี่ยนด้านต้นทุนมากกว่าทางเลือกที่ไม่มีค่าใช้จ่าย Edgee ระบุว่า Self-Learning Routing ของตนเล่นซ้ำเซสชันขององค์กรใน 30 วันที่ผ่านมาทุกสัปดาห์ เพื่อเลือกแผนที่ระดับและค่าตั้งการสลับที่ถูกที่สุดซึ่งทำให้ทุกเทิร์นอยู่บนโมเดลที่สามารถทำงานได้ การกำหนดเส้นทางเอเจนต์เขียนโค้ดผ่าน Edgee ต้องติดตั้ง CLI ประมาณห้านาทีและไม่ต้องแก้โค้ด และจะไม่มีการเปลี่ยนแปลงใด ๆ จนกว่าจะนำค่าตั้งไปใช้ การเปิดการจำแนกประเภทในคอนโซลต้องใช้แพ็กเกจ Team หรือ Enterprise
สร้างจากรายงาน · อัปเดต 4 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIการสลับ LLM กลางบทสนทนาเป็นปัญหาการเช่าสกี
Agent Gateway ของ Edgee มองการกำหนดเส้นทาง LLM ในเซสชันเขียนโค้ดเป็นปัญหาสองส่วนที่เชื่อมโยงกัน ได้แก่ แผนที่ระดับความยากที่กำหนดโมเดลให้แต่ละเทิร์น และนโยบายการสลับที่ตัดสินว่าเซสชันที่กำลังทำงานอยู่จะเปลี่ยนโมเดลจริงเมื่อใด เนื่องจากผู้ให้บริการแคชประวัติบทสนทนาไว้ ทุกครั้งที่สลับโมเดลจะทิ้งแคชที่อุ่นอยู่และต้องจ่ายเพื่อสร้างใหม่ ดังนั้นเกตเวย์จึงวางกรอบการสลับเป็นปัญหาออนไลน์แบบการเช่าสกี Self-Learning Routing จะเล่นซ้ำเซสชันขององค์กรใน 30 วันที่ผ่านมาทุกสัปดาห์ เพื่อเลือกแผนที่ระดับและค่าตั้งการสลับที่ถูกที่สุดซึ่งทำให้ทุกเทิร์นอยู่บนโมเดลที่สามารถทำงานได้
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 9
- จุดสูงสุดในช่วงที่เทียบได้
- 1020 พฤศจิกายน 00:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู