AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 18 ชม. ที่แล้วคะแนน AI34
สร้าง LLM gateway แบบ self-service ด้วย Amazon Bedrock และ LiteLLM
Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
สรุปโดย AI
LLM gateway แบบ self-service ที่สร้างบน Amazon Bedrock Application Inference Profiles และ LiteLLM ที่รันบน AWS Fargate เปิดให้เข้าถึงโมเดลพื้นฐานของ Bedrock ผ่าน API ที่เข้ากันได้กับ OpenAI ทำให้นักพัฒนามี base URL เดียวและคีย์แยกตามผู้ใช้ การตั้งค่านี้เพิ่มการควบคุมค่าใช้จ่ายรายผู้ใช้ การแยกโควตาตามโมเดล และการสังเกตการณ์ RPM/TPM ผ่าน CloudWatch พร้อม Langfuse สำหรับ telemetry ระดับพรอมต์ การออกคีย์แบบ self-service ต้องใช้ LiteLLM Enterprise เนื่องจากแพ็กเกจฟรีจำกัดที่ห้าผู้ใช้
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com