Langfuse เผยแพร่การออกแบบและผลทดสอบประสิทธิภาพสำหรับ AI Gateway ที่เขียนด้วย Rust
เริ่มตรงนี้
Langfuse เผยแพร่บทความอธิบายการออกแบบและผลทดสอบประสิทธิภาพของ AI Gateway ซึ่งเป็นพร็อกซีที่สร้างด้วย Rust ทำหน้าที่อยู่ด้านหน้าของการเรียกโมเดลทั้งหมด ทีมแพลตฟอร์มสามารถออกคีย์ข้ามผู้ให้บริการ ติดตามค่าใช้จ่ายแยกตามคีย์ ผู้ใช้ และทีม และบันทึกทุกการเรียกเป็น trace ของ Langfuse Langfuse รายงานเวลาถึงโทเคนแรกมัธยฐาน 2 มิลลิวินาทีที่ 100 สตรีมพร้อมกัน เทียบกับ 734 มิลลิวินาทีและ 729 มิลลิวินาทีสำหรับทางเลือกอื่นที่นำมาเปรียบเทียบ เกตเวย์นี้อยู่ในช่วงเบต้าสาธารณะบน Langfuse Cloud และสามารถโฮสต์เองควบคู่กับ Langfuse ของผู้ใช้เองได้ แต่จำเป็นต้องมี deployment ของ Langfuse ไม่ว่าจะเป็น Cloud หรือโฮสต์เอง เป็น control plane เสมอ องค์กรเลือกได้ระหว่าง trace แบบใช้เฉพาะข้อมูลการใช้งาน (โมเดล โทเคน ค่าใช้จ่าย) กับการบันทึกอินพุตและเอาต์พุตแบบเต็ม บน Langfuse ที่โฮสต์เอง ผู้ดูแลระบบสามารถปิดการบันทึกได้เพื่อให้เกตเวย์ทำหน้าที่เพียงกำหนดเส้นทางการเรียกเท่านั้น Langfuse ระบุว่าเกตเวย์ส่งผ่าน API ของผู้ให้บริการโดยไม่แปลความหมาย และยังระบุด้วยว่า Claude Code ต้องออกจากระบบ subscription ของ claude.ai เพื่อใช้ข้อมูลรับรองของเกตเวย์ และคอนเนกเตอร์ที่พึ่งพา subscription จะไม่สามารถใช้ได้ใน Claude Desktop
สร้างจากรายงาน · อัปเดต 42 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AILangfuse อธิบายวิธีออกแบบ AI Gateway ของตนใน Rust
Langfuse เผยแพร่บทความอธิบายการออกแบบ AI Gateway ของตน ซึ่งเป็นพร็อกซีที่วางอยู่หน้าโมเดลทุกครั้งที่เรียกใช้ เพื่อให้ทีมแพลตฟอร์มออกคีย์ข้ามผู้ให้บริการ ติดตามค่าใช้จ่ายต่อคีย์ ผู้ใช้ และทีม และบันทึกทุกการเรียกเป็น Langfuse trace ใช้เวลา 2 ms ถึงค่ามัธยฐานของเวลาถึงโทเคนแรกที่ 100 สตรีมพร้อมกัน เทียบกับ 734 ms และ 729 ms
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม