ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Edgee มองการสลับ LLM กลางเซสชันเป็นปัญหาการเช่าสกี

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 4 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Edgee เผยแพร่บทอธิบายเชิงเทคนิคที่อธิบายว่า Agent Gateway ของตนจัดการการสลับ LLM กลางบทสนทนาในเซสชันเขียนโค้ดอย่างไร โดยวางกรอบการตัดสินใจนี้เป็นปัญหาออนไลน์แบบการเช่าสกี เกตเวย์ถือว่าการกำหนดเส้นทางเป็นสองส่วนที่เชื่อมกัน คือ แผนที่ระดับความยากที่กำหนดโมเดลให้แต่ละเทิร์น และนโยบายการสลับที่ตัดสินว่าเซสชันที่กำลังทำงานจะเปลี่ยนโมเดลจริงเมื่อใด เนื่องจากผู้ให้บริการแคชประวัติบทสนทนาไว้ การสลับแต่ละครั้งจึงทิ้งแคชที่อุ่นอยู่และต้องจ่ายเพื่อสร้างใหม่ ซึ่งเป็นเหตุผลที่ Edgee มองการสลับเป็นข้อแลกเปลี่ยนด้านต้นทุนมากกว่าทางเลือกที่ไม่มีค่าใช้จ่าย Edgee ระบุว่า Self-Learning Routing ของตนเล่นซ้ำเซสชันขององค์กรใน 30 วันที่ผ่านมาทุกสัปดาห์ เพื่อเลือกแผนที่ระดับและค่าตั้งการสลับที่ถูกที่สุดซึ่งทำให้ทุกเทิร์นอยู่บนโมเดลที่สามารถทำงานได้ การกำหนดเส้นทางเอเจนต์เขียนโค้ดผ่าน Edgee ต้องติดตั้ง CLI ประมาณห้านาทีและไม่ต้องแก้โค้ด และจะไม่มีการเปลี่ยนแปลงใด ๆ จนกว่าจะนำค่าตั้งไปใช้ การเปิดการจำแนกประเภทในคอนโซลต้องใช้แพ็กเกจ Team หรือ Enterprise

สร้างจากรายงาน · อัปเดต 4 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. Hacker News · AI
    การสลับ LLM กลางบทสนทนาเป็นปัญหาการเช่าสกี

    Agent Gateway ของ Edgee มองการกำหนดเส้นทาง LLM ในเซสชันเขียนโค้ดเป็นปัญหาสองส่วนที่เชื่อมโยงกัน ได้แก่ แผนที่ระดับความยากที่กำหนดโมเดลให้แต่ละเทิร์น และนโยบายการสลับที่ตัดสินว่าเซสชันที่กำลังทำงานอยู่จะเปลี่ยนโมเดลจริงเมื่อใด เนื่องจากผู้ให้บริการแคชประวัติบทสนทนาไว้ ทุกครั้งที่สลับโมเดลจะทิ้งแคชที่อุ่นอยู่และต้องจ่ายเพื่อสร้างใหม่ ดังนั้นเกตเวย์จึงวางกรอบการสลับเป็นปัญหาออนไลน์แบบการเช่าสกี Self-Learning Routing จะเล่นซ้ำเซสชันขององค์กรใน 30 วันที่ผ่านมาทุกสัปดาห์ เพื่อเลือกแผนที่ระดับและค่าตั้งการสลับที่ถูกที่สุดซึ่งทำให้ทุกเทิร์นอยู่บนโมเดลที่สามารถทำงานได้

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
9
จุดสูงสุดในช่วงที่เทียบได้
1020 พฤศจิกายน 00:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู