跳至正文
今天11月13日星期五5 条
  1. Hacker News · AI40

    史丹佛 CS 329Z:AI 代理工程課程涵蓋代理設計、RAG、工具與多代理系統

    史丹佛的 CS 329Z「AI 代理工程」課程逐步拆解代理式系統的結構——LLM 核心、推理、記憶、工具與環境——以及複合式 AI 系統與真正代理之間的落差。課程涵蓋 RAG 流程、工具使用與透過 MCP 的函式呼叫、DSPy 與 LangGraph 編排、MemGPT 等記憶架構,以及多代理編排模式。課程最後以 GEPA、PPO 與 GRPO 等最佳化方法作結,並有 Terminal-Bench 創作者的客座講座。

  2. OpenRouter Announcements58

    OpenRouter 在 274 題 RAG 基準上測試 11 個重排器

    OpenRouter 在一個 274 題的合成 RAG 資料集上對 11 個重排器進行了基準測試,發現用 voyageai/rerank-3-lite 對向量搜尋的前 30 個候選進行重排,可將 precision@1 從 81.0% 提升到 97.1%,每 1,000 次查詢成本約 $0.10。該指南建議檢索約 30 個片段、對其重排,並只將前 3 個傳送給 LLM,在其測試中這將答案準確率提升到 99.3%,同時將每 1,000 個問題的作答成本從 $0.22 降到 $0.16。它還指出了失敗模式:省略 input_type 參數會損失 7 到 12 個百分點的 precision@1,而 cohere/rerank-v3.5 會默默忽略超出其 4,096 token 限制的內容。

  3. AWS Machine Learning Blog40

    Natera 如何在 Amazon Bedrock AgentCore 上打造用於實驗室營運的代理式 AI 系統 SWARM

    Natera 在 Amazon Bedrock AgentCore 上打造了用於實驗室營運的代理式 AI 系統 SWARM,將首次回應時間縮短約 130 倍,並自動處理 96.2% 的支援工單。該系統結合了在工程師開啟工單前先草擬診斷報告的 swarm-agent,以及供工程師即時互動的 swarm-hive,兩者共用同一個技能庫。它處理三個佇列中每天超過 65 張 Jira 工單,而這些工單過去平均需要 17.4 小時才能獲得首次回應。

  4. AWS Machine Learning Blog40

    AWS 開放其創新中心 23 項可重複使用的生成式 AI 資產目錄

    AWS 發布了一份目錄,收錄來自其生成式 AI 創新中心(現隸屬於 AWS Frontier AI Engineering & Services)的 23 項可投入生產的開源生成式 AI 資產。這些建構模組涵蓋 RAG 流程、文件處理器、代理程式骨架與評估框架,AWS 表示它們能將開發時間從數月縮短至數週。DoorDash 回報測試能力提升 50 倍,Ricoh 則在採用這些資產後回報吞吐量提升 7 倍。

  5. AWS Machine Learning Blog34

    使用編碼代理遷移至 Amazon Bedrock Managed Knowledge Base

    AWS 在 Agent Toolkit for AWS 的 amazon-bedrock 技能中新增了知識庫遷移指南,讓編碼代理能夠規劃從客戶自管知識庫遷移至 Amazon Bedrock Managed Knowledge Base。代理會先進行唯讀探索與逐行審查的計畫,接著在原始知識庫旁建立新的知識庫與資料來源,或撰寫遷移後的 IaC 範本。Managed Knowledge Base 將預設配額提高至每個知識庫 200 個資料來源,以及每個帳戶每個 Region 10,000 個知識庫,並新增代理式擷取、AgentCore Gateway 整合與資源型政策。

11月11日星期三
  1. Hugging Face Blog41

    Pooling-Aware Training for Multi-Vector Embedding Models with Sentence Transformers

    Hugging Face 展示 pooling-aware 訓練如何在固定儲存預算下提升多向量嵌入模型的檢索品質。當 pool_factor=4 時,一般訓練的模型保留其未池化 NanoBEIR nDCG@10 的 94.6%,同時將文件向量減少 4 倍,而 pooling-aware 訓練則將該保留率提升至 97.8%。文章逐步說明 HierarchicalTokenPooling、預算校準,以及一個可重現的 Sentence Transformers 範例。

  2. LangChain Blog58

    LangChain 說明 AI 代理上下文工程的檢索技術

    LangChain 發布了一篇部落格文章,說明檢索設計如何形塑 AI 代理的上下文工程,並以建構於其 Deep Agents 框架上的競爭分析代理為例。文章涵蓋三種失敗模式:搜尋效率低落、一次載入過多上下文,以及結果不相關或過時,並為每種模式搭配相應技術,例如 glob 與 grep 檔案系統工具、以 read_file 偏移量分頁讀取大型檔案、將過大的工具結果卸載至檔案,以及在「檢索、卸載、委派」模式下將讀取工作委派給子代理。文章也警告,檢索到的文字是資料而非指令,可能帶有提示注入,因此輸出應對照引用的來源進行檢查。

11月5日星期四
  1. Apple Machine Learning Research38

    Apple 的學習式支撐函數加速 RAG 檢索

    Apple 研究人員在 ICML 2026 發表了「Amortizing Maximum Inner Product Search with Learned Support Functions」,透過離線訓練小型神經網路,將查詢更快地導向最匹配的鍵。SupportNet 透過輸入凸神經網路(ICNNs)學習支撐函數,以改善叢集路由;KeyNet 則直接輸出最匹配的鍵向量,並藉由歐拉定理得出的一致性損失,使其在幾何上保持有據。兩者皆在實際查詢分布上訓練,以預先攤提的成本換取推論時更快、更準確的檢索。

10月26日星期一
  1. Mastra Blog40

    Mastra 開放 Knowledge 給另外八家設計夥伴,這是一套為 AI 代理打造的自架式公司大腦

    Mastra 正開放其 Knowledge 服務給另外八家設計夥伴,採先到先得制;這是一套為 AI 代理提供的自架式全公司情境層。Knowledge 可連接 Slack 和 Monday 等系統、自行保持最新狀態,並支援各職能各自獨立的知識庫,權限細分到個人、團隊和組織層級。Mastra 表示,將全公司知識圖譜接入其編碼代理後,交付程式碼的品質有明顯提升。

2025年10月30日星期四
  1. Modal Blog38

    Modal 與 Datalab:5 分鐘內部署 Marker 與 Surya 文件智慧工具

    Modal 與 Datalab 合作,讓開發者能在 5 分鐘內於 Modal GPU 上部署 Marker 文件解析模型與 Surya OCR 工具包。Marker 是參數量低於十億的模型,支援超過 90 種語言,在 Modal 上運行可達每容器每秒約 2.2 頁,約為 M4 Mac 使用 Apple MPS 時每秒 0.22 頁的 10 倍。Datalab 的工具對研究、個人使用,以及融資或營收低於 200 萬美元的初創公司維持免費,並提供商業授權。

2024年9月24日星期二
2024年9月18日星期三
  1. Modal Blog20

    Contextual AI 如何利用 Modal GPU 實現 CI 自動化

    Contextual AI 在 Modal 上將其基於 GPU 的持續整合自動化並行化,取代了在內部 GPU 節點上的人工測試執行。一個 GitHub Action 會觸發一個掛載多個 GPU 的 Modal Function,而快取的映像建置讓測試能在作業提交後 30 秒內開始。Modal 按用量計費,因此帳單中 99% 都是實際的測試執行時間。

2024年4月26日星期五
2024年1月23日星期二
  1. Modal Blog40

    用 Modal 和 Hugging Face TEI 在 15 分鐘內嵌入英文維基百科

    Modal 和 Hugging Face 的文字嵌入推論伺服器,可在大約 15 分鐘內嵌入整部英文維基百科,費用僅略高於 15 美元,靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張,對正式環境的 RAG 而言,開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型,因為前者可用使用者資料微調,並避開速率限制與按權杖計費。