跳至正文
熱點事件持續更新

Amazon Bedrock 開放權重模型新增明確提示快取功能

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

根據 AWS Machine Learning Blog 的文章,Amazon Bedrock 的開放權重模型現在除了既有的自動隱含快取外,也支援明確提示快取。應用程式可在多個請求間重複使用相符的提示前綴,而不必重新處理;文章透過 Chat Completions API 說明這兩種模式,並在 OpenCode 編碼代理工作階段中展示隱含快取。 費用取決於操作類型:快取讀取的計費低於標準輸入,因此每次重複使用前綴時節省的金額都會增加;而快取寫入則依模型不同,可能以高於標準輸入的費率計費。模型可用性與提示快取支援也因 AWS 區域而異,因此建議使用者查閱模型卡以了解支援的區域。

AI 依報導生成 · 25 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. AWS Machine Learning Blog
    在 Amazon Bedrock 上對開放權重模型使用提示快取

    Amazon Bedrock 的開放權重模型現在除了自動隱式快取外,也支援顯式提示快取,讓應用程式能跨請求重複使用相符的提示前綴,而不必重新處理。快取讀取的計費低於標準輸入,本文透過 Chat Completions API 示範這兩種模式,並在 OpenCode 編碼代理工作階段中示範隱式快取。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。