使用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关

一个基于 Amazon Bedrock Application Inference Profiles 和运行在 AWS Fargate 上的 LiteLLM 构建的自助式 LLM 网关，通过 OpenAI 兼容 API 对外暴露 Bedrock 基础模型，为开发者提供单一 base URL 和每用户密钥。该方案增加了每用户支出控制、按模型配额隔离以及 CloudWatch RPM/TPM 可观测性，并使用 Langfuse 实现提示词级遥测。自助发放密钥需要 LiteLLM Enterprise，因为免费版仅限五个用户。