Xây dựng cổng LLM tự phục vụ với Amazon Bedrock và LiteLLM

Một cổng LLM tự phục vụ được xây dựng trên Amazon Bedrock Application Inference Profiles và LiteLLM chạy trên AWS Fargate, đưa các mô hình nền tảng của Bedrock ra sau một API tương thích OpenAI, mang lại cho nhà phát triển một base URL duy nhất và khóa riêng cho từng người dùng. Thiết lập này bổ sung kiểm soát chi tiêu theo từng người dùng, cô lập hạn mức theo từng mô hình và khả năng quan sát RPM/TPM qua CloudWatch, cùng với Langfuse để theo dõi telemetry ở cấp độ prompt. Việc cấp khóa tự phục vụ yêu cầu LiteLLM Enterprise, vì gói miễn phí chỉ giới hạn ở năm người dùng.