Hacker News · AI·· 1 ชม. ที่แล้วคะแนน AI58
Langfuse อธิบายวิธีออกแบบ AI Gateway ของตนใน Rust
Designing the Langfuse AI Gateway
สรุปโดย AI
Langfuse เผยแพร่บทความอธิบายการออกแบบ AI Gateway ของตน ซึ่งเป็นพร็อกซีที่วางอยู่หน้าโมเดลทุกครั้งที่เรียกใช้ เพื่อให้ทีมแพลตฟอร์มออกคีย์ข้ามผู้ให้บริการ ติดตามค่าใช้จ่ายต่อคีย์ ผู้ใช้ และทีม และบันทึกทุกการเรียกเป็น Langfuse trace ใช้เวลา 2 ms ถึงค่ามัธยฐานของเวลาถึงโทเคนแรกที่ 100 สตรีมพร้อมกัน เทียบกับ 734 ms และ 729 ms
แหล่งข่าว:Hacker News · AI · langfuse.com