ข้ามไปที่เนื้อหา
Hacker News · AI·· 1 ชม. ที่แล้วคะแนน AI58

Langfuse อธิบายวิธีออกแบบ AI Gateway ของตนใน Rust

Designing the Langfuse AI Gateway

สรุปโดย AI

Langfuse เผยแพร่บทความอธิบายการออกแบบ AI Gateway ของตน ซึ่งเป็นพร็อกซีที่วางอยู่หน้าโมเดลทุกครั้งที่เรียกใช้ เพื่อให้ทีมแพลตฟอร์มออกคีย์ข้ามผู้ให้บริการ ติดตามค่าใช้จ่ายต่อคีย์ ผู้ใช้ และทีม และบันทึกทุกการเรียกเป็น Langfuse trace ใช้เวลา 2 ms ถึงค่ามัธยฐานของเวลาถึงโทเคนแรกที่ 100 สตรีมพร้อมกัน เทียบกับ 734 ms และ 729 ms

แหล่งข่าว:Hacker News · AI · langfuse.com