AWS Machine Learning Blog· Dustin Liu·· 1 小時前AI 評分38
在 Amazon Bedrock 上對開放權重模型使用提示快取
Use prompt caching with open-weight models on Amazon Bedrock
AI 導讀
Amazon Bedrock 的開放權重模型現在除了自動隱式快取外,也支援顯式提示快取,讓應用程式能跨請求重複使用相符的提示前綴,而不必重新處理。快取讀取的計費低於標準輸入,本文透過 Chat Completions API 示範這兩種模式,並在 OpenCode 編碼代理工作階段中示範隱式快取。
來源:AWS Machine Learning Blog · aws.amazon.com