Amazon Bedrock 開放權重模型新增明確提示快取功能
熱點事件持續更新
Amazon Bedrock 開放權重模型新增明確提示快取功能
1 篇報導1 個報導來源1 小時前更新
先了解這件事
AI 綜述
根據 AWS Machine Learning Blog 的文章,Amazon Bedrock 的開放權重模型現在除了既有的自動隱含快取外,也支援明確提示快取。應用程式可在多個請求間重複使用相符的提示前綴,而不必重新處理;文章透過 Chat Completions API 說明這兩種模式,並在 OpenCode 編碼代理工作階段中展示隱含快取。 費用取決於操作類型:快取讀取的計費低於標準輸入,因此每次重複使用前綴時節省的金額都會增加;而快取寫入則依模型不同,可能以高於標準輸入的費率計費。模型可用性與提示快取支援也因 AWS 區域而異,因此建議使用者查閱模型卡以了解支援的區域。
AI 依報導生成 · 25 分鐘前更新
最新進展11月16日 23:42
在 Amazon Bedrock 上對開放權重模型使用提示快取報導時間線
沿著報導,了解事件的不同側面。
11月16日
- AWS Machine Learning Blog在 Amazon Bedrock 上對開放權重模型使用提示快取
Amazon Bedrock 的開放權重模型現在除了自動隱式快取外,也支援顯式提示快取,讓應用程式能跨請求重複使用相符的提示前綴,而不必重新處理。快取讀取的計費低於標準輸入,本文透過 Chat Completions API 示範這兩種模式,並在 OpenCode 編碼代理工作階段中示範隱式快取。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。