Modal 上线 GLM-5 免费端点并发布自部署与前端接入指南
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点,可用至 4 月底,限单个并发请求,同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由:Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点,并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
技术方向
开放权重、能下载下来自己部署的模型,开源框架与 GitHub 上爆火的 AI 项目。
62 条精选近 30 天 45 条共收录 433 条
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点,可用至 4 月底,限单个并发请求,同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由:Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点,并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
Modal工程师阅读了已发布的Flash Attention 4源代码,逆向解析了这个针对Blackwell优化的注意力内核的工作原理,因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程,并详述了两个数学技巧:一个可替代基于SFU的指数运算的三次多项式软件指数,以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道,FA4比Nvidia闭源的cudnn注意力内核快约20%,而在撰写本文时反向版本尚不可用。
推荐理由:Modal工程师阅读了已发布的Flash Attention 4源代码,解释了其warp特化流水线和两个数学技巧,提供了一个关于CUDA内核设计走向的可迁移视角。