跳至正文
  1. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash,吞吐量達 GB300 NVL72 的 58 倍

    vLLM 報告指出,在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash,每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s,為 GB300 NVL72 的 58 倍,峰值達 2.52M tokens/s,單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑,以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由,即使在高併發下前綴命中率仍維持在 96.5-97%。

    推薦理由:vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍,為大規模服務優化提供了具體參考。

  1. OpenRouter Announcements65

    OpenRouter 在同一項 GitHub 任務上測量 MCP、CLI 與技能的上下文成本

    OpenRouter 在 Claude Sonnet 5.5、GPT-6 Luna 與 Gemini 3.8 Flash 上,以 GitHub MCP 伺服器、gh CLI 與 gh 技能測量同一項 GitHub 任務。在 Sonnet 5.5 上,三者皆正確作答,但 CLI 用了 1,421 個輸入 token,技能用了 3,315 個,而 MCP 伺服器用了 59,417 個,其 46 個預設工具單是定義就讓每次請求增加 19,436 個 token。將伺服器範圍縮減至兩個工具後,該任務降至 23,228 個 token;將結果上限設為 4,000 字元後,降至 5,357 個;Tool Search 將 46 個工具的前期成本降至 600 個 token 以下,不過它在 Sonnet 5.5 上將整項任務的成本減半,在 Claude Haiku 5.5 上卻提高了成本。

    推薦理由:OpenRouter 的實測比較顯示,MCP 伺服器、CLI 與技能在同一項 GitHub 任務上各自消耗多少上下文,以及精簡工具結果或延後載入定義會在何處改變帳單。

  2. OpenRouter Announcements60

    OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響

    OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務,未偵測到 fp16、fp8 與 fp4 之間有準確率差異,六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中,59.5% 完全未回報精度,而 fp8 是最常見的標示格式,佔 23.6%。對多數模型而言,較低精度較便宜,但並非全部皆然;供應商選擇對價格的影響大於精度,同精度端點中最貴者為最便宜者的中位數 1.72 倍。

    推薦理由:OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量,未發現可偵測的準確率差距,而價格差異與供應商的關聯大於與精度的關聯。

  3. LangChain Blog60

    LangChain 說明 Deep Agents 如何在不把所有內容都留在上下文視窗的情況下管理上下文

    LangChain 詳細說明其開源 Deep Agents 框架如何運用中介層來對抗長時間代理執行中的上下文腐化。工具結果超過約 20,000 個 token、使用者訊息超過 50,000 個 token 時,會被卸載到檔案中,只顯示預覽;而當用量達到上下文視窗的 85% 時,摘要功能會壓縮較舊的訊息。技能、子代理和一個 markdown 長期記憶檔案讓主代理的視窗保持精簡,並讓記憶能跨模型和供應商延續。

    推薦理由:LangChain 說明其開源 Deep Agents 框架如何運用中介層來卸載、摘要和隔離上下文,為長時間任務中的代理提供可重複使用的模式。

  1. Hugging Face Blog60

    Hugging Face 解釋決策模型及其在 Transformers 與 llama.cpp 中的支援

    Hugging Face 發布了一篇關於決策模型的說明文章,這類模型接收狀態與具型別的問題,並回傳預定義答案上的機率,而非生成文字。文章詳細介紹了 choice、score 與 noul 原語、信心公式,以及透過 Transformers 的 DecisionPipeline 與 AutoModelForDecision 提供的新支援、Transformers 與 llama.cpp 中共用的 /v1/systemone 端點、用於探索的 Hub 標籤,以及使用 Trainer API 進行微調。文章指出,同一個端點也能透過在批次前向傳遞中對答案 logits 評分,與相容的自迴歸 LLM 搭配運作。

    推薦理由:Hugging Face 解釋了決策模型如何將分類轉變為具型別、非生成式的介面,並展示如何用 Transformers 與 llama.cpp 來服務與微調這些模型。

  2. OpenRouter Announcements72

    OpenRouter 對 15 個視覺模型與 Mistral OCR 進行掃描文件基準測試

    OpenRouter 在八份自製的劣化掃描檔上測試了 15 個視覺模型、Mistral OCR 與 Tesseract,Claude Opus 5.5 最準確,264 個關鍵值中答對 262 個,每 1,000 頁成本 $16.42,而 Mistral OCR 性價比最佳,264 個中答對 258 個,成本 $2.02。在一張褪色收據上,GPT-6 Luna 與 GPT-6.1 Sol 捏造了卡片數字、一個伺服器名稱與 wifi 密碼,這些錯誤無法從字元錯誤率中看出。文章包含轉錄掃描檔、關閉推理、交叉核對兩個不同實驗室的模型,以及透過 file-parser 外掛執行 Mistral OCR 的程式碼。

    推薦理由:對 15 個視覺模型加上 Mistral OCR 與 Tesseract 在八份劣化掃描檔上進行實測基準測試,並附上可執行的程式碼,可交叉核對兩個模型以揪出捏造的值。

  1. Anthropic · Claude.dev60

    Anthropic 指南:如何在 Claude Fable 5.2、Opus 5.5、Sonnet 5.5 與 Haiku 5.5 之間選擇

    Anthropic 發布指南,建議開發者將多數程式設計與知識工作從 Claude Opus 5.5 的預設中等努力等級開始,因為其每 token 成本僅為 Fable 5.2 的一半。該指南將 Sonnet 5.5 對應到範圍明確的日常工作,Haiku 5.5 對應到高頻分類、路由與子代理任務,Fable 5.2 則對應到最困難的程式設計、金融與科學專案或長時間無人值守的執行。指南也建議在切換模型前先調整努力等級,並指出在 SWE-bench Pro 上,Opus 5.5 以低努力執行、失敗者再以高努力重跑,通過約 97% 的任務,每項約 $0.17,相較之下每項任務都以高努力執行則為 95.3%、每項 $0.29。

    推薦理由:Anthropic 自家的指南將每個 Claude 模型與努力等級對應到具體任務類型,並提供每項任務成本與基準比較,以供從中選擇。

  1. Google Developers Blog60

    Google 研究發現,過時的 TODO 錯誤參照在 13% 的編碼工作階段中分散編碼代理的注意力

    參照。代理在 6% 的遭遇中依據該錯誤 ID 採取行動,其中 83% 的行動並非開發者所提示;41% 的非提示性繞道追逐已關閉的工單,而 57% 則觸及仍開啟的錯誤並擴大了範圍。在控制開發者、程式碼庫複雜度、任務類型、模型層級及其他因素後,非提示性錯誤繞道使每個工作階段多出 70% 的步驟、77% 的 token 及 105% 的等待時間。

    推薦理由:Google 的大規模追蹤分析顯示,過時的 TODO 錯誤參照會使編碼代理陷入非提示性繞道,而其清理代理已移除數千個過時參照,審查者接受率超過 95%。

  2. Anthropic Research60

    Anthropic 說明 Claude 代理記憶的組成部分

    Anthropic 概述了它如何為 Claude 代理設計記憶,將代理記憶定義為跨工作階段保留的知識,並將其與權重變更、上下文學習和壓縮區分開來。5 將其與記憶配對。7 在 225 個資料夾中寫入了 413 個檔案,並獲得了一枚徽章。

    推薦理由:Anthropic 詳細說明了 Claude 的代理記憶如何運作,比較了模型在 CL-Bench 和 Pokémon Red 上的筆記記錄,並展示了離線做夢如何修正和組織儲存的筆記。

  1. Google Developers Blog60

    Google 將 TorchTitan 接入 TorchTPU,並發布 TPU 模型最佳化手冊

    Google 發布了 Meta TorchTitan 的 TPU 分支版本,可透過 TorchTPU 原生的 torch.device("tpu") 後端在 Cloud TPU 上執行 PyTorch 訓練,並附帶 TPU 原生核心與逐步最佳化指南。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 到 1,024 顆晶片之間維持約 57% MFU,Qwen3 235B 在單一 1,024 晶片切片上達到 32.42% MFU,FLUX.1 在 1,024 顆晶片上達到 19.4% MFU,弱擴展效率為 93%。該分支位於 https://github.com/google-pytorch/torchtitan/,另有 Transformers 建模後端與 agent 上手技能,可將同一訓練器延伸至其他檢查點。

    推薦理由:Google 與 Meta 合作把 TorchTitan 移植到 TPU,並給出從 FLUX.1 到 Qwen3 235B 的逐級調優路徑與 MFU 數字,可作為 PyTorch 團隊評估 TPU 訓練可行性的參考。

  1. Anthropic · Claude.dev62

    Claude Code 團隊如何進行程式碼審查

    Claude Code 團隊描述其分層的程式碼審查流程,其中大部分閱讀由機器完成,人類注意力則保留給基於風險的核准。從六月到九月,合併至 Claude Code 程式碼庫的拉取請求增加了一倍以上,而必須回退的比例下降了超過 40%。該流程在 PR 之前堆疊驗證、必要的 CI、Claude 審查、安全審查、風險分級的人工核准,以及帶有旗標和快速回滾的合併佇列,團隊並將過去的事件轉化為審查者的每日評估集。

    推薦理由:Anthropic 的 Claude Code 團隊詳細說明了他們如何將大部分程式碼閱讀移至自動化層,同時合併的 PR 翻倍且回退下降超過 40%,為代理密集的團隊提供了一個可轉移的審查模型。

  1. Anthropic · Claude.dev62

    Anthropic 逐步說明如何用 Claude Managed Agents 建立排程代理自動化

    Anthropic 發布了 Claude Managed Agents(beta)的參考實作,它會依 cron 排程讀取 Slack 頻道與 GitHub 拉取請求,透過各來源的書籤追蹤自上次執行以來的變更,並將摘要發佈到 Slack。這份逐步說明涵蓋保存在 vault 中的憑證、唯讀存取與每次執行的支出上限,以及將失敗的來源回報為無法讀取而非當作平靜無事的一天,還有在更新書籤與帳本前先確認 Slack 發文成功等規則。一個帶有 claude-api 技能的 Claude Code 命令會依文章指引設定該代理。

    推薦理由:Anthropic 分享了一個排程 Claude Managed Agents 的參考實作,它會讀取 Slack 與 GitHub,並針對書籤、讀取失敗與發文確認訂有具體規則。

  1. Anthropic · Claude.dev72

    Claude Code 雲端工作階段:在獨立 VM 上執行任務的實戰指南

    Addy Osmani 詳細介紹 Claude Code 雲端工作階段:每個任務都在 Anthropic 管理的新鮮 VM 上執行,儲存庫會複製到各自的分支,且雲端工作階段已包含在 Pro、Max、Team 與 Enterprise 方案中,不額外收取運算費用。在一個範例 Node 儲存庫上進行的四工作階段測試中,三個工作階段在彼此相隔 16 秒內啟動,並在第一个工作階段開始後 87 秒完成,而針對不穩定測試的工作階段執行了測試套件 40 次,零失敗。本指南涵蓋設定腳本、網路層級、GitHub 連線路徑,以及七種適合雲端工作階段的工作流程,同時指出對於需要本機資料、VPN 服務、GPU 或零資料保留的任務,本機工作階段仍是更合適的選擇。

    推薦理由:一份 Claude Code 雲端工作階段的實戰指南,展示每個任務的 VM 如何實現平行工作,以及本機工作階段在哪些情況下仍更合適。

  1. Anthropic · Claude.dev60

    開始使用 Claude Code mods:打造一個上下文視窗預報

    Claude Code mods 是小型 JavaScript 或 TypeScript 檔案,以隨外掛提供的 hooks 形式在工作階段內執行,可觀察事件、改寫行為,或在終端機或桌面應用程式中繪製自訂 UI。本指南打造 Token Weather,一個約 80 行的 mod,在每一輪之後讀取 $.session.usage(),並在提示上方繪製一條天氣樣式的上下文視窗帶,接著導覽 Blast Radius(會攔住有風險的 Bash 指令)與 Replay Theater(逐步檢視某一輪的編輯)。Mods 需要 Claude Code 2.1.287 或更新版本,且預設為開啟;這三個 mod 的完成版程式碼都在 anthropics/claude-code-playground。

    推薦理由:一篇實作導向的 Claude Code mods 逐步教學,用約 80 行打造出可運作的上下文視窗計量器,展示 hooks、狀態與自訂 UI 如何彼此搭配。

  1. Anthropic · Claude.dev72

    Anthropic 在 Claude Code 的 claude-api 技能中新增 build-eval 與 hillclimb 指令

    Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令:/claude-api build-eval 會在你的程式碼庫中建立評估集,而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式,並以保留集來捕捉過擬合。

    推薦理由:Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令,展示 Claude Code 如何設計評估並針對評估反覆迭代,同時防範過擬合。

  1. OpenAI Developers Blog60

    OpenAI 發布 GPT-6 工作負載的 API 部署檢查清單

    OpenAI 發布了一份 API 部署檢查清單,引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列,包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式;OpenAI 表示,對於工具呼叫達 20 次以上的工作流程,WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟,例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。

    推薦理由:OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。

  1. OpenAI Developers Blog67

    OpenAI 更新 Sora 2 提示指南,加入角色參考、20 秒片段與影片延長功能

    OpenAI 更新了 Sora 2 提示指南,涵蓋新的 API 功能:可重複使用的物件與動物角色參考、1920×1080 與 1080×1920 匯出、最長片段長度從 12 秒提高到 20 秒、以完整原始片段作為脈絡的影片延長,以及用於非同步影片任務的 Batch API。該指南也說明鏡頭取景、攝影機運動、光線與對話的提示結構,並指出解析度、時長與角色 ID 必須設為 API 參數,而非以文字描述。支援最多 20 秒的延長,且一支影片最多可延長 6 次,總計 120 秒。

    推薦理由:OpenAI 更新的 Sora 2 提示指南詳述了角色參考、20 秒片段與影片延長等新 API 功能,以及可用於控制鏡頭的可重複使用提示範本。

  1. OpenAI Developers Blog62

    OpenAI 發布 Codex 提示詞指南,適用於 gpt-5.3-codex

    OpenAI 發布了一份 Codex 提示詞指南,供開發者透過 API 直接呼叫針對 Codex 調校的 gpt-5.3-codex 模型,建議互動式編碼採用中等推理強度,最困難的任務則採用高或 xhigh。該指南涵蓋將現有測試框架遷移至開源 codex-cli,包括標準 Codex-Max 提示詞、apply_patch、shell_command 與 update_plan 工具,以及透過 Responses API 中的 /compact 對多小時工作階段進行一等公民級壓縮。指南亦說明了新的 phase 欄位,僅支援於 gpt-5.3-codex,會將助理項目標記為 commentary 或 final_answer,且必須保留於歷史記錄中以避免效能下降。

    推薦理由:OpenAI 的官方指南詳細說明如何為 gpt-5.3-codex 調整提示詞、工具與壓縮,為團隊提供具體的遷移路徑來建構自家的編碼代理。

  1. Modal Blog60

    Modal 工程師逆向解析 Flash Attention 4 的運作原理

    Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作,因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線,並詳述兩個數學技巧:一個可取代基於 SFU 之指數運算的三次多項式軟體指數,以及一個更聰明的線上 softmax 重新縮放規則,Tri Dao 表示這能將修正次數減少 10 倍。據報導,FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%,而撰文時尚無反向版本可用。

    推薦理由:Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,解釋其 warp 特化管線與兩個數學技巧,提供了一個可轉移的視角,說明 CUDA 核心設計的發展方向。

  1. Modal Blog62

    Modal 重現 Large Language Monkeys:LLaMA 3.1 8B 透過搜尋在 HumanEval 上與 GPT-4o 匹敵

    Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張,顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000,對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM,並以 Modal Sandboxes 進行平行測試執行,成本遠低於 50 美元,且在三個數量級上展現平滑、可預測的擴展。

    推薦理由:一項實作重現顯示,小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o,提供了一個具體、低成本以運算換取準確率的配方。