AWS Machine Learning Blog· Alan Yao·· 22 小時前AI 評分34
Airbnb 如何用每項任務成本在 Amazon Bedrock 上運行編碼代理
How Airbnb uses cost per task to operate coding agents on Amazon Bedrock
AI 導讀
Airbnb 透過 Amazon Bedrock 上的 LLM 閘道運行其內部編碼代理工具 AirChat,並以每項任務成本——即代理完成一項任務所花費全部 token 的定價成本——來選擇預設模型與投入上限。在大約五週內推出八個新模型後,到十月中旬,約三分之二的工程師編碼代理請求都流向了這些新模型。Airbnb 將上線前的評估與 CloudWatch 上關於延遲、限流和 token 花費的運行時信號結合起來,以重新審視這些選擇。
來源:AWS Machine Learning Blog · aws.amazon.com