llama.cpp 發佈 v1.0.0，以語意化版本規則穩定下游 API
llama.cpp 發佈 v1.0.0，同時 ggml 也發佈 v1.0.0，兩個專案今後將以主版本號變更來標示公共 C API 與 ABI 的不相容改動。專案方表示，隨著本地 AI 與隱私需求增長、下游應用增多，穩定的函式庫介面變得關鍵，未來對破壞性變更的邊界會更嚴格。
#部署/工程
Hugging Face BlogAI 評分5858 NVIDIA NewsroomAI 評分2222 AI 如何協助照護團隊讓病患更早獲得適切照護
Dyania Health 的 Synapsis AI 臨床推理引擎會閱讀病患病歷中的每一則紀錄、報告與檢驗結果，將相隔數年的發現相互連結，標示出哪些病患需要關注及其原因，且每一項訊號都可追溯至來源。它在醫療體系自身的防火牆內、於 NVIDIA 加速運算上運行，因此病患資料從不離開醫院。Cleveland Clinic 用它檢視 2005 至 2021 年間超過 7,800 名主動脈瓣置換病患的病歷，並建立瓣膜惡化與三年、五年及十年再介入風險的預測模型。
Modal BlogAI 評分4040 Modal Sandboxes 採用突發定價，相較預留方案節省 58% 成本
Modal 現在改以實際使用中的資源向 Sandboxes 收費，而非固定預留，讓每個 Sandbox 能突破預設的 0.125 核心與 128 MiB 請求量，並僅按每秒實際用量付費。在一個 20 分鐘的編碼代理範例中，突發模式的成本為每 Sandbox-小時 8.4¢，固定預留則為 20.0¢，節省 58%。CPU 預設可較請求量突發最多 16 核心，記憶體則不設上限，除非另行設定限制。
FactoryAI 評分5555 Factory 推出 Cyber Defense Network，將安全工具連結至 Security Factory
Factory 推出 Cyber Defense Network，這是一個由網路安全公司組成的生態系統，其發現的結果會流入 Security Factory，讓 Factory Droids 能夠調查漏洞、實作程式碼變更，並透過測試驗證修復。創始合作夥伴包括 Snyk、Palo Alto Networks、Semgrep、Cogent、Casco、DepthFirst 和 Detail。此工作流程涵蓋來自合作夥伴工具的信號、對可觸及漏洞的分流，以及持續修復，產出可供工程團隊審查並合併的修復方案，同時組織仍保留其現有的安全工具與工作流程。
Databricks BlogAI 評分3636 利用詳細稽核日誌與 Genie 偵測 Databricks 上由憑證驅動的攻擊
Databricks 詳細說明憑證驅動的攻擊如何在其平台上展開，以及詳細稽核日誌加上 Genie 如何偵測遭竊的 PAT、工作階段 Cookie 或服務主體憑證被使用後的行為轉變。該文章將攻擊者活動劃分為六個階段，從初始登入到環境偵察，並涵蓋應變步驟與限制遭竊憑證可觸及範圍的控制措施。
Databricks BlogAI 評分3636 Bright Machines 運用 Debezium 與 Iceberg，讓客戶從氣隙隔離工廠取得即時儀表板
Bright Machines 現在能讓客戶取得來自氣隙隔離工廠的即時、受治理的工廠資料儀表板，且無需開放任何 inbound 存取。它在邊緣端以 Debezium 擷取 PostgreSQL 變更，寫入為 Apache Iceberg，透過單一可稽核的 outbound 路徑推送出去，並在 Databricks 中透過 Unity Catalog federation 就地讀取。第一個客戶可見的儀表板在啟動後約兩個月上線，已提交的資料列可在一到兩分鐘內查詢，儀表板每十分鐘重新整理。
AWS Machine Learning BlogAI 評分5858 AWS 發布 SGLang-Neuron，可在 Trainium 上以原有 SGLang 介面部署前沿模型
Amazon 宣布 SGLang-Neuron 正式公開可用，這是一個 out-of-tree 外掛，透過 AWS Deep Learning Container 在 AWS Trainium 上執行 SGLang，由 RadixArk 與 Annapurna Labs 發布。使用者維持相同的 SGLang 伺服器介面與生成 API，而此外掛提供 Trainium 專屬的模型、注意力、MoE，以及建構於原生 PyTorch 與 NKI 核心之上、以 torch.compile 編譯的 graph runner。它也支援 PD 分離，透過 EFA 上的 NIXL 將 prefill KV 快取傳輸到 decode 伺服器，而操作說明則在 Trainium3 EC2 執行個體上以 pytorch-inference-sglang-neuronx 容器提供 openai/gpt-oss-120b 的服務。
AWS Machine Learning BlogAI 評分4040 Natera 如何在 Amazon Bedrock AgentCore 上打造用於實驗室營運的代理式 AI 系統 SWARM
Natera 在 Amazon Bedrock AgentCore 上打造了用於實驗室營運的代理式 AI 系統 SWARM，將首次回應時間縮短約 130 倍，並自動處理 96.2% 的支援工單。該系統結合了在工程師開啟工單前先草擬診斷報告的 swarm-agent，以及供工程師即時互動的 swarm-hive，兩者共用同一個技能庫。它處理三個佇列中每天超過 65 張 Jira 工單，而這些工單過去平均需要 17.4 小時才能獲得首次回應。
Databricks BlogAI 評分3030 Databricks 破解關於 Lakebase 架構的四個 LTAP 迷思
Databricks 回應了對 LTAP 的四種常見誤讀；LTAP 是 Lakebase 架構，讓營運資料只保留一份受治理的副本，同時服務 Postgres 與分析，且無需 CDC。文章主張 LTAP 並非複製：湖泊前方的各層是快取，不是擁有自己目錄的第二個資料庫。文章也指出，heap 頁面與 Parquet 是同一批資料列的兩種無損編碼，因此點查詢與掃描各自讀取對其而言快速的佈局。
AWS Machine Learning BlogAI 評分3838 大規模 Tokenomics：使用 CUR 2.0 和 AWS Budgets 追蹤並限制每個 IAM 主體的 Amazon Bedrock 支出
AWS 展示如何僅使用原生功能，按 IAM 主體追蹤並限制 Amazon Bedrock 生成式 AI 支出：Bedrock 會自動在每次推論請求中記錄 IAM 使用者或角色，這些標籤會成為成本分配標籤，可在 Cost Explorer 或 CUR 2.0 匯出中讀取。範圍設為 Bedrock 並篩選至單一身份或標籤值的 AWS Budget 可以附加預算動作，在超過閾值後套用 Deny IAM 政策，常見情況下無需應用程式碼。
AWS Machine Learning BlogAI 評分3636 影響成本的四個 Amazon Bedrock 推論選擇
Amazon Bedrock 的快取持續時間、服務層級、推理強度與 maxTokens 設定，能在不改變模型或提示詞的情況下改變推論成本。在 Claude Sonnet 5 與 Claude Opus 5 上，5 分鐘快取寫入的費用是輸入費率的 1.25 倍，1 小時寫入為 2 倍，快取讀取為 0.1 倍；對不支援的模型發出 Flex 層級請求會以 ValidationException 失敗。
Databricks BlogAI 評分2222 Constellation 如何在 Databricks 上打造受治理的資料基礎
Constellation 是美國最大的核電機組營運商，正在 Databricks 上建置受治理的企業資料平台，讓業務對其資料有一致的共同定義。該平台使用 Unity Catalog 來處理血緣、精細存取與單一權限模型，並對關鍵可重用實體採用 Data Vault 建模。早期使用案例包括以 Databricks Genie 打造的核能工程助理，以及停機規劃。
Databricks BlogAI 評分2525 Eclipse Aerospace 使用 Databricks PySpark 自訂資料來源進行飛行資料擷取
Eclipse Aerospace 正使用 Databricks PySpark 自訂資料來源，擷取近 20 年的專有飛行資料，總量超過 3TB、涵蓋逾一百萬飛行小時，且無需常時開啟的專用運算資源。這個以 Rust 為後端的 Python 套件，在基準測試中的效能是類似的純 Python PyArrow 資料來源的兩倍，也幾乎是未使用 Arrow 的原生 Python 實作的 20 倍。此 API 於 Apache Spark 4.0 推出，並可在 Databricks Runtime 15.4 LTS 中使用，取代了先前的 Lambda-to-Avro 管線。
AWS Machine Learning Blog精選AI 評分6666 AWS 更新 AgentCore 執行環境：工作階段啟動速度提升 15 倍、運算資源增加 4 倍
AWS 宣布更新 Amazon Bedrock AgentCore 執行環境，這是其用於代理程式的受管運算層，工作階段現在啟動速度最高提升 15 倍，可擴展至 4 倍運算資源（最高 8 個 vCPU 與 32 GB，容器映像最高 10 GB），執行效率最高提升 68%，同時每個工作階段仍維持在各自硬體隔離的 Firecracker MicroVM 中。無論映像大小或並行數量，工作階段皆在 2 秒內啟動，閒置代理程式會縮減至零，代理程式可掛載檔案系統並將工作儲存至 Amazon S3 儲存貯體等位置，支援 FUSE，讓資料留在信任邊界內。此執行環境即日起在北美、南美、歐洲與亞太地區的 AWS 區域提供。
推薦理由：AgentCore 執行環境的新版本同時調整了工作階段啟動、算力上限與記憶體計費，為需要長時間執行的智慧代理提供了隔離與成本之間的新取捨。
AWS Machine Learning BlogAI 評分3434 使用 Amazon Bedrock 和 LiteLLM 建立自助式 LLM 閘道
一個建構於 Amazon Bedrock Application Inference Profiles 與執行在 AWS Fargate 上的 LiteLLM 的自助式 LLM 閘道，將 Bedrock 基礎模型封裝在相容於 OpenAI 的 API 之後，為開發者提供單一基礎 URL 與每位使用者的金鑰。此設定新增了每位使用者的支出控制、各模型的配額隔離，以及 CloudWatch RPM/TPM 可觀測性，並以 Langfuse 提供提示層級的遙測。自助式金鑰發放需要 LiteLLM Enterprise，因為免費方案僅限五名使用者。
AWS Machine Learning BlogAI 評分3434 在 Amazon Bedrock 上最佳化每項任務成本並證明代理投資報酬率
這篇 AWS 文章主張，Amazon Bedrock 的支出應以每項任務成本而非每詞元成本來衡量，因為分詞器效率、輸出冗長程度、代理迴圈次數與推理額外開銷，可能讓價格較低的模型反而成本更高。文中一個實例顯示，列表價格為兩倍的模型，每項任務的完成成本反而低 65%；文章還補充快取、路由與輸出限制，以及一套五維度評分卡，用來對照人工基準衡量代理的投資報酬率。
Databricks BlogAI 評分2020 Databricks Genie Migrate 正式 GA，支援輕鬆遷移至 Lakehouse
Databricks 宣布 Genie Migrate 現已正式全面推出，讓企業能以更少的人工投入，將資料工作負載遷移至 Databricks Lakehouse。此工具鎖定正競相在 Lakehouse 資料之上建構 AI 代理與應用的團隊。
LangChain BlogAI 評分3030 Own Your Intelligence：LangChain 談為何通用 AI 不夠用
LangChain 主張企業必須擁有自己的智慧，而非依賴通用模型，並掌控三個層面：模型、執行框架與上下文。它表示，擁有代理系統，以及圍繞其的經濟效益、品質與風險，才能讓 AI 轉化為持久的優勢。
Databricks BlogAI 評分2222 H6.ai 如何用 Lakebase Postgres 打造 AI 驅動的財務自動化
H6.ai 在客戶既有的 ERP 之上自動化應付帳款，並為每位客戶使用專屬的 Lakebase Postgres 資料庫作為系統記錄。由於發票資料不斷變動，團隊使用 Lakebase 的寫時複製分支（copy-on-write branches）凍結客戶資料庫的快照，並在各自短命的的分支上執行每項回歸測試，因此正式資料庫永遠不會被寫入。每次執行皆以確定性斷言，加上由不同模型供應商組成的 AI 評審團來評判。
Databricks BlogAI 評分5858 Databricks 推出 Lakehouse//RT，實現即時分析且成本不成比例增長
Databricks 推出 Lakehouse//RT，這是一款即時分析引擎，可直接在 lakehouse 資料上執行高併發工作負載，現已開放測試版。該公司表示，它能在每秒 12,000 次查詢下提供低於 100 毫秒的延遲，每次增加一個節點來擴充容量，並避免額外的服務層；客戶 Aurasell、VisionHeight 和 nOps 表示，從多叢集架構、Apache Pinot 和 Apache Druid 遷移後，基礎設施成本降低了 6 到 10 倍。
AWS Machine Learning BlogAI 評分3838 Amazon Bedrock AgentCore Evaluations：內建、DeepEval 與 AutoEval 評估器
Amazon Bedrock AgentCore Evaluations 現在讓團隊能執行 AWS 內建評估器，搭配受管的 DeepEval 與 AutoEval 指標，以及由兩者衍生的自訂評估器。內建目錄涵蓋 15 個評估器，橫跨回應品質、目標完成、工具使用、技能與安全，並包含三項針對預期工具路徑的軌跡檢查。DeepEval 新增多輪指標，例如 ConversationCompleteness 與 KnowledgeRetention，而 AutoEval 則提供包括安全性在內的專門訊號。
AWS Machine Learning BlogAI 評分3636 使用 LangGraph 與 Amazon Bedrock AgentCore Web Search 打造每日依賴監控器
Amazon Bedrock AgentCore 中的 Web Search API 現已推出，讓代理能透過單一 SigV4 簽章的 API 呼叫取得即時網頁結果，該服務由 Amazon 營運的網頁索引提供。一篇逐步教學示範如何以 LangGraph 圖建構每日依賴監控，平行研究 npm、PyPI 與容器基礎映像，並在程式碼中強制執行日期範圍、封鎖清單與搜尋預算。測試中，三個分支在 36 秒內完成，相較於依序執行需 99 秒。
AWS Machine Learning BlogAI 評分5858 Moonshot AI 的 Kimi K3.1 Pro Highspeed 在 Amazon Bedrock 上線
Moonshot AI 的 Kimi K3.1 Pro Highspeed 現已在 Amazon Bedrock 上提供，這是 Kimi K3 的後訓練版本，具備相同的 3T 級開放權重架構與 100 萬 token 上下文視窗，以更多後訓練算力訓練，針對長程代理式工作，並減少事實錯誤。Moonshot AI 回報其輸出速度為 Kimi K3.1 Pro 的 2–3 倍，現有 Kimi K3 使用者可透過變更模型 ID 切換。該文章展示了 Chat Completions、Responses 與 Converse API 呼叫、價格為 Standard 一半的 Flex 層級、使用 prompt_cache_breakpoint 的明確提示快取，以及將模型連接至 OpenCode 編碼代理。
AWS Machine Learning BlogAI 評分3333 Amazon SageMaker AI 雙向串流新增用量計價，Deepgram 為首發合作夥伴
Amazon SageMaker AI 雙向串流現支援用量計量，讓模型供應商向 AWS Marketplace 軟體費用回報實際用量，而端點基礎設施費用仍照常收取。Deepgram 為首發合作夥伴，將以用量計價的語音轉文字與文字轉語音計費帶入 AWS Marketplace。此設計新增一條配套的 WebSocket 中繼資料串流，上限為每秒一則訊息、512 位元組，讓供應商能在即時工作階段中傳送增量計量記錄。
AWS Machine Learning Blog精選AI 評分6060 AWS 開源 UAEF，一個與框架無關的 AI 代理評估系統
AWS 已開源 UAEF（Universal Agent Evaluation Framework），這是一個與框架無關的系統，透過適配器將來自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的代理軌跡正規化為統一的 AgentTrace，再以 7 個維度下的 36 項內建指標進行評分。結果按實驗分別儲存在 Amazon DynamoDB 和 Amazon S3 中，讓團隊可以將代理版本與基準進行比較，以預設 5% 的閾值標記回歸，並生成統計報告及 LLM 撰寫的洞察。文章指出，電信、醫療保健和金融服務領域 12 個組織的客戶在發布前使用了 UAEF，Apache 2.0 程式碼、Python 函式庫、CDK 部署及各框架的 notebook 均位於 awslabs/uaef GitHub 儲存庫中。
推薦理由：AWS 團隊開源 UAEF，用適配器把不同框架的 Agent 軌跡統一成一種格式，再以 36 項指標跨 7 個維度打分，為跨框架比較 Agent 版本提供了一套可復用的評測層。
AWS Machine Learning BlogAI 評分3636 AWS Quick AI-PDLC：以六個代理推動 AI 驅動的產品開發
AWS Quick 推出 AI-PDLC，這是一套由六個專用代理組成的框架，並由一個 Orchestrator 統籌，涵蓋 Discovery、Prioritize、Working Backwards、Spec Generator 與 Designer，能將來自 Slack、Jira、Salesforce 與 SharePoint 的分散企業訊號，轉化為可追溯的 prototype_spec.md。每個階段都需經人工核准，且規格可透過開放的 Agent Client Protocol（ACP）交給 Kiro 或 Claude Code 等編碼代理。
AWS Machine Learning BlogAI 評分4040 AWS 開放其創新中心 23 項可重複使用的生成式 AI 資產目錄
AWS 發布了一份目錄，收錄來自其生成式 AI 創新中心（現隸屬於 AWS Frontier AI Engineering & Services）的 23 項可投入生產的開源生成式 AI 資產。這些建構模組涵蓋 RAG 流程、文件處理器、代理程式骨架與評估框架，AWS 表示它們能將開發時間從數月縮短至數週。DoorDash 回報測試能力提升 50 倍，Ricoh 則在採用這些資產後回報吞吐量提升 7 倍。
AWS Machine Learning BlogAI 評分3838 DXC Technology 如何在 Amazon Bedrock 上打造多模型 AI 基座
DXC Technology 在 Amazon Bedrock 上為其 DXC OASIS IT 營運框架建置了模型基座，透過單一託管介面即可存取 Anthropic Claude、Amazon Nova、Meta Llama 及開放權重模型。Amazon Bedrock Guardrails 對所有模型統一套用內容過濾、PII 去識別化與拒絕主題政策，而 AWS PrivateLink 則讓推論流量維持在客戶 VPC 內。DXC OASIS 自 2026 年 3 月起正式可用，並在 56 個實測使用案例中平均縮短了 95% 的解決時間。
AWS Machine Learning BlogAI 評分4040 Agent DLC：從原型到正式環境的 AI 代理工程
AWS 推出代理開發生命週期（Agent DLC），這是一套框架，包含一個生命週期、兩個迴圈，以及單一明確標準，用來評判每一次代理變更。它針對三項會破壞傳統 CI/CD 的代理特性：非確定性、提示詞即原始碼，以及獨立移動的依賴項。一個參考用的人力資源政策助理顯示，在三道測試題中，區塊層級檢索精確度皆為 1.00，而事實層級精確度降至 0.09，且其中一道題的檢索覆蓋率為 0.00。
AWS Machine Learning BlogAI 評分3636 Amazon Bedrock Managed Knowledge Base 工具的細粒度存取控制
AWS 展示如何透過 AgentCore Gateway 將搜尋功能以 MCP 工具形式開放，讓共用 AI 代理在 Amazon Bedrock Managed Knowledge Base 上實現每位使用者的文件存取權限。請求攔截器會將 Cognito JWT 中經驗證的使用者電子郵件注入 userContext，而 ACL 感知機制只會回傳該使用者有權檢視的文件。AgentCore 中的 Cedar 政策與知識庫上的資源型政策則提供第二層防禦，抵禦偽造或未經授權的搜尋。
AWS Machine Learning BlogAI 評分5858 AWS 詳解如何以 A2A 建構跨組織多代理系統
AWS 發布了一套參考架構：在 Amazon ECS 上以 LangChain 為基礎的企業編排器，透過 A2A 協定呼叫部署於 Amazon Bedrock AgentCore、以 Strands Agents 為基礎的合規 SaaS 代理，雙方位於不同的 AWS 帳戶，且不共用任何密鑰。雙方各自以來自自家 Amazon Cognito 使用者集區的權杖進行驗證，而 SaaS 代理會回呼企業情境代理以取得帳戶中繼資料，因此這些代理是對等關係，而非用戶端與伺服器關係。該系統可從三個 Jupyter notebook 部署，這些 notebook 會佈建五個 CloudFormation 堆疊，並執行端對端測試及七項信任邊界檢查。
AWS Machine Learning BlogAI 評分3434 使用編碼代理遷移至 Amazon Bedrock Managed Knowledge Base
AWS 在 Agent Toolkit for AWS 的 amazon-bedrock 技能中新增了知識庫遷移指南，讓編碼代理能夠規劃從客戶自管知識庫遷移至 Amazon Bedrock Managed Knowledge Base。代理會先進行唯讀探索與逐行審查的計畫，接著在原始知識庫旁建立新的知識庫與資料來源，或撰寫遷移後的 IaC 範本。Managed Knowledge Base 將預設配額提高至每個知識庫 200 個資料來源，以及每個帳戶每個 Region 10,000 個知識庫，並新增代理式擷取、AgentCore Gateway 整合與資源型政策。
Databricks BlogAI 評分4040 Databricks Genie 的 Slack 應用程式正式推出一般可用版本
Databricks 已將其 Genie 的 Slack 應用程式正式推出一般可用版本，讓使用者可透過私訊或 @提及 提出資料問題，並在討論串中取得以 Unity Catalog 權限為基礎的答案。每個答案都會引用來源，且透過 MCP 連接器，Genie 可先草擬文件、工單與紀錄的變更內容，待核准後再執行。
Databricks BlogAI 評分5858 Block 如何運用 Buzz 與 Databricks Unity Gateway 執行協作式 AI 代理
Block 打造了 Buzz，這是一個開源協作工作空間，讓員工與 AI 代理在小組討論、聚焦對話和一對一交流中共同作業，並以 Databricks Unity Gateway 作為模型存取層。員工可以建立代理、為每個代理挑選背後的模型或程式設計工具，並選擇 Databricks 作為推論供應商，透過單一整合即可存取 OpenAI、Anthropic 和 Google 的前沿模型，以及部分開放權重模型。Block 的工程師也正在實驗多代理架構，由能力較強的模型協調執行較小、更高效模型的代理，並已建立一套內部方法來對這些代理團隊進行基準測試。
NVIDIA BlogAI 評分1818 Warhammer 40,000: Dawn of War IV 即將登上 GeForce NOW
由 KING Art Games 開發、Deep Silver 發行的 Warhammer 40,000: Dawn of War IV，將於 12 月 3 日（週四）在 Steam 推出時同步登上 GeForce NOW。這款即時戰略遊戲收錄超過 70 個戰役任務，可單人遊玩或合作遊玩，另有 The Last Stand、遭遇戰與多人模式。搭載 3D-Guided Neural Rendering 的 NVIDIA DLSS 5 也將於 11 月中旬登陸 War Thunder，並於 11 月 23 日（週一）登陸 Where Winds Meet。
LangChain BlogAI 評分4040 LangChain 的 GTM Agent 如何打造一致且高品質的銷售素材
LangChain 內部的 GTM Agent 在 12 週內產出了 1,540 份銷售素材，為業務代表在客戶計畫、提案簡報等文件上節省了 337 小時。在有寄出素材的交易中，47% 推進到後續階段，而條件相近但未寄出素材的交易僅有 16%；此外，46% 的素材在 14 天內促成了客戶通話。此 Agent 運行於 Deep Agents 框架上，其沙箱、技能、記憶與排程執行功能均已在 Managed Deep Agents 中提供。
AWS Machine Learning BlogAI 評分3636 使用 Amazon Bedrock 與 Spring AI 打造自主 AI 代理
AWS 向 Java 團隊展示如何運用 Spring AI 與 Amazon Bedrock 的 AgentCore，並透過 spring-ai-agentcore 整合來打造自主 AI 代理。文中詳細介紹了兩套參考系統：一套是具備工具呼叫與記憶功能的單一代理旅遊助理，另一套是多代理智慧文件處理平台，包含五個專責代理、一個規則引擎與警示功能。此技術堆疊需要 JDK 21、Spring Boot 4.1 與 Spring AI 2.0，並透過 AgentCore 執行環境部署於 ARM64 容器上。
LiveKit BlogAI 評分5555 LiveKit 推出 Cloud API 公開測試版，讓編碼代理能管理 LiveKit Cloud
LiveKit 發布 LiveKit Cloud API 公開測試版，讓編碼代理能建立與設定專案、管理成員與 webhook，並從代理通話中提取逐字稿、日誌、追蹤記錄與錄音。此 API 為 REST API，以使用者身分登入執行，會依據專案角色驗證短效權杖，敏感操作僅限專案管理員執行。在 LiveKit 文件助理上的一項測試中，一個編碼代理讀取了過去一週的 4,321 個工作階段，並在約 30 分鐘後回傳一份依序排列的 8 個問題清單。工作階段資料需要 Agent Observability，而透過 API 建立的專案預設關閉此功能；API 請求免費，但會依方案受到速率限制。
OpenRouter AnnouncementsAI 評分5858 OpenRouter 以損益平衡負載計算比較自架 LLM 與 API 成本
OpenRouter 發布一項損益平衡分析，說明自架開放權重 LLM 在何時比透過 API 呼叫更便宜，並採用截至 2026 年 10 月 8 日的各供應商價格。依這些價格，Qwen3.8 27B 在一張每小時 0.50 美元的租用 RTX 3090 上，於 6% 至 12% 負載時達到損益平衡；而 DeepSeek V4.1 Flash 在四張 H200 上，始終無法勝過最便宜的零資料保留端點。文章也指出，provider.zdr 以及歐盟與美國網域已能涵蓋多數隱私需求，無需自架，並建議在本機執行穩定的基礎負載，同時將尖峰流量送往 API。
vLLM Blog精選AI 評分6060 vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援
vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small，這是一個多模態文字與視覺 MoE，總參數 594B、活躍參數 17B，上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行，在 TP4 下將 8K token 的 prefill 步驟縮短 22%，TP8 下縮短 26%，以及一個 Gluon 相對注意力解碼核心，將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS，接受長度 3.5，並且也透過 SkyRL 支援 LoRA 與 RL。
推薦理由：vLLM 在發布當天即支援 Inkling 2 Small，並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據，可供部署大型 MoE 模型的團隊參考。