Modal 上線 GLM-5 免費端點並發布自部署與前端接入指南
Modal 推出 GLM-5 的免費 OpenAI API 相容端點,可用至 4 月底,限單個並發請求,同時發布在單節點 8 張 B200 上用 SGLang 部署的可重現程式碼。
推薦理由:Modal 為 Z.ai 的 GLM-5 提供免費 OpenAI 相容端點,並給出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具體配置。
技術方向
開放權重、能下載下來自己部署的模型,開源框架與 GitHub 上爆火的 AI 專案。
62 條精選近 30 天 45 條共收錄 433 條
Modal 推出 GLM-5 的免費 OpenAI API 相容端點,可用至 4 月底,限單個並發請求,同時發布在單節點 8 張 B200 上用 SGLang 部署的可重現程式碼。
推薦理由:Modal 為 Z.ai 的 GLM-5 提供免費 OpenAI 相容端點,並給出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具體配置。
Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作,因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線,並詳述兩個數學技巧:一個可取代基於 SFU 之指數運算的三次多項式軟體指數,以及一個更聰明的線上 softmax 重新縮放規則,Tri Dao 表示這能將修正次數減少 10 倍。據報導,FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%,而撰文時尚無反向版本可用。
推薦理由:Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,解釋其 warp 特化管線與兩個數學技巧,提供了一個可轉移的視角,說明 CUDA 核心設計的發展方向。