使用 Amazon Bedrock 和 LiteLLM 建立自助式 LLM 閘道

一個建構於 Amazon Bedrock Application Inference Profiles 與執行在 AWS Fargate 上的 LiteLLM 的自助式 LLM 閘道，將 Bedrock 基礎模型封裝在相容於 OpenAI 的 API 之後，為開發者提供單一基礎 URL 與每位使用者的金鑰。此設定新增了每位使用者的支出控制、各模型的配額隔離，以及 CloudWatch RPM/TPM 可觀測性，並以 Langfuse 提供提示層級的遙測。自助式金鑰發放需要 LiteLLM Enterprise，因為免費方案僅限五名使用者。