跳到正文
  1. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash,吞吐量达 GB300 NVL72 的 58 倍

    vLLM 报告称,在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash,每 GPU 达到 170 万 tokens/s,每用户 387 tokens/s,是 GB300 NVL72 的 58 倍,峰值达 252 万 tokens/s,单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径,以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由,即使在高并发下前缀命中率也保持在 96.5-97%。

    推荐理由:vLLM 关于 DeepSeek-V4.1-Flash 的第三篇文章详细说明了 Rubin 专用 kernel 和机架级内存池化如何将吞吐量提升至 GB300 NVL72 的 58 倍,为大规模服务优化提供了具体参考。

  1. OpenRouter Announcements65

    OpenRouter 在一个 GitHub 任务上测量了 MCP、CLI 和 skill 的上下文成本

    OpenRouter 在 Claude Sonnet 5.5、GPT-6 Luna 和 Gemini 3.8 Flash 上,用 GitHub MCP server、gh CLI 和一个 gh skill 测量了同一个 GitHub 任务。在 Sonnet 5.5 上三者都回答正确,但 CLI 用了 1,421 个输入 token,skill 用了 3,315 个,而 MCP server 用了 59,417 个——它带有 46 个默认工具,仅这些工具的定义每次请求就增加 19,436 个 token。把 server 限定为两个工具后,该任务降到 23,228 个 token;将结果上限设为 4,000 字符后降到 5,357 个;Tool Search 把 46 个工具的前置成本降到 600 个 token 以下,不过在 Sonnet 5.5 上它把整个任务的成本减半,在 Claude Haiku 5.5 上却提高了。

    推荐理由:OpenRouter 的实测对比展示了 MCP server、CLI 和 skill 在同一个 GitHub 任务上各自消耗多少上下文,以及裁剪工具结果或延迟加载定义会在哪里改变账单。

  2. OpenRouter Announcements60

    OpenRouter 测试 fp8 和 fp4 量化对 LLM 质量与价格的影响

    OpenRouter 于 2026 年 10 月 20 日针对 Qwen3.8 27B 的六个端点运行了 280 个精确答案任务,未发现 fp16、fp8 和 fp4 之间存在准确率差异,六个端点的得分均在 98.3% 至 99.2% 之间。在 1,455 个端点中,59.5% 完全未报告精度,fp8 是最常见的标注格式,占 23.6%。对大多数模型而言,较低精度更便宜,但并非所有模型都如此;提供商选择对价格的影响大于精度,同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。

    推荐理由:OpenRouter 在一个模型的 fp8、fp4 和 fp16 端点上测量了 240 个精确答案任务,未发现可检测的准确率差距,而价格差异更多与提供商相关,而非精度。

  3. LangChain Blog60

    LangChain 解释 Deep Agents 如何在不把所有内容都保留在上下文窗口中的情况下管理上下文

    LangChain 详细说明了其开源 Deep Agents 框架如何使用中间件来对抗长时间智能体运行中的上下文腐化。超过约 20,000 token 的工具结果和超过 50,000 token 的用户消息会被卸载到文件中,仅显示预览;而当使用量达到上下文窗口的 85% 时,摘要功能会压缩较早的消息。技能、子智能体和一个 markdown 长期记忆文件使主智能体的窗口保持较小,并让记忆能够跨模型和提供商延续。

    推荐理由:LangChain 解释了其开源 Deep Agents 框架如何使用中间件来卸载、摘要和隔离上下文,为执行长任务的智能体提供了一种可复用的模式。

  1. Hugging Face Blog60

    Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

    Hugging Face 发布了一篇关于决策模型的说明文章,这类模型接收一个状态和带类型的问题,返回预定义答案上的概率,而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式,以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签,以及使用 Trainer API 进行微调。文章指出,同一端点也可通过在一次批量前向传播中对答案 logits 打分,与兼容的自回归 LLM 配合使用。

    推荐理由:Hugging Face 解释了决策模型如何将分类转变为带类型的非生成式接口,并展示了如何用 Transformers 和 llama.cpp 来服务和微调它们。

  2. OpenRouter Announcements72

    OpenRouter 对 15 个视觉模型和 Mistral OCR 在扫描文档上进行基准测试

    OpenRouter 在八份自制的退化扫描件上测试了 15 个视觉模型、Mistral OCR 和 Tesseract,Claude Opus 5.5 最准确,264 个关键值中答对 262 个,每 1,000 页成本 16.42 美元;Mistral OCR 性价比最高,264 个中答对 258 个,成本 2.02 美元。在一张褪色收据上,GPT-6 Luna 和 GPT-6.1 Sol 编造了卡号数字、一个服务器名称和 wifi 密码,这些错误是字符错误率无法揭示的。文章附有代码,可转录扫描件、关闭推理、交叉核对来自不同实验室的两个模型,并通过 file-parser 插件运行 Mistral OCR。

    推荐理由:对 15 个视觉模型以及 Mistral OCR 和 Tesseract 在八份退化扫描件上的实测基准,附可运行代码,用于交叉核对两个模型以捕捉编造的数值。

  1. Anthropic · Claude.dev60

    Anthropic 关于在 Claude Fable 5.2、Opus 5.5、Sonnet 5.5 和 Haiku 5.5 之间选择的指南

    Anthropic 发布了一份指南,建议开发者将大多数编程和知识工作从 Claude Opus 5.5 的默认中等努力水平开始,因为其每 token 成本仅为 Fable 5.2 的一半。该指南将 Sonnet 5.5 对应到范围明确的日常工作,Haiku 5.5 对应到高容量分类、路由和子代理任务,Fable 5.2 对应到最困难的编程、金融和科学项目或长时间无人值守运行。它还建议在切换模型之前调整努力水平,并指出在 SWE-bench Pro 上,Opus 5.5 在低努力下运行、失败任务以高努力重跑,通过了约 97% 的任务,每个任务约 $0.17,而所有任务均以高努力运行时为 95.3%,每个任务 $0.29。

    推荐理由:Anthropic 自己的指南将每个 Claude 模型和努力水平映射到具体任务类型,并提供了用于在它们之间选择的每任务成本和基准比较。

  1. Google Developers Blog60

    谷歌研究发现,过时的 TODO bug 引用在 13% 的会话中分散了编码智能体的注意力

    ) 引用。智能体在 6% 的遇到情况下对 bug ID 采取了行动,其中 83% 的行动并非由开发者提示;41% 的未提示绕行追逐的是已关闭的工单,而 57% 触及的是仍然开放的 bug 并扩大了范围。在控制开发者、代码库复杂度、任务类型、模型层级和其他因素后,未提示的 bug 绕行使每次会话增加了 70% 的步骤、77% 的 token 和 105% 的等待时间。

    推荐理由:谷歌的大规模追踪分析显示,过时的 TODO bug 引用会将编码智能体拖入未提示的绕行,而其清理智能体移除了数千条过时引用,审查者接受率超过 95%。

  2. Anthropic Research60

    Anthropic 解释 Claude 智能体记忆的组成部分

    Anthropic 概述了其为 Claude 智能体设计记忆的方式,将智能体记忆定义为跨会话保留的知识,并将其与权重变化、上下文学习和压缩区分开来。5 将其与记忆相匹配。7 在 225 个文件夹中写入了 413 个文件,并获得了一枚徽章。

    推荐理由:Anthropic 详细说明了 Claude 的智能体记忆如何运作,比较了模型在 CL-Bench 和 Pokémon Red 上的笔记记录,并展示了离线“做梦”如何纠正和组织已存储的笔记。

  1. Google Developers Blog60

    Google 将 TorchTitan 接入 TorchTPU,并发布 TPU 模型优化手册

    Google 发布了 Meta TorchTitan 的 TPU 分支版本,该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练,配备 TPU 原生内核和分步优化手册。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU,Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU,FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/,此外还有 Transformers 建模后端和 agent 接入技能,可将同一训练器扩展到其他检查点。

    推荐理由:Google 与 Meta 合作把 TorchTitan 移植到 TPU,并给出从 FLUX.1 到 Qwen3 235B 的逐级调优路径与 MFU 数字,可作为 PyTorch 团队评估 TPU 训练可行性的参考。

  1. Anthropic · Claude.dev62

    Claude Code 团队如何进行代码审查

    Claude Code 团队介绍了其分层代码审查流程:大部分阅读工作由机器完成,人的注意力则保留给基于风险的审批。6 月至 9 月,Claude Code 代码库中合并的拉取请求数量增长了一倍多,而不得不回滚的比例下降了 40% 以上。该流程在 PR 之前叠加验证、必需的 CI、Claude 审查、安全审查、按风险分级的人工审批,以及带标志和快速回滚的合并队列;团队还将过去的事故转化为审查者的每日评估集。

    推荐理由:Anthropic 的 Claude Code 团队详细说明了如何将大部分代码阅读转移到自动化层,同时合并的 PR 翻倍、回滚下降超过 40%,为大量使用智能体的团队提供了一个可迁移的审查模型。

  1. Anthropic · Claude.dev62

    Anthropic 详解如何用 Claude Managed Agents 构建定时智能体自动化

    Anthropic 发布了一份 Claude Managed Agents(测试版)的参考实现,该实现按 cron 计划读取 Slack 频道和 GitHub 拉取请求,通过按来源分别记录的书签追踪自上次运行以来的变更,并向 Slack 发布简报。该详解涵盖由 vault 保管的凭据、只读访问和单次运行支出上限,以及将某个来源读取失败报告为不可读而非视为平静无事的规则,还有在更新书签和账本之前先确认 Slack 发布成功的规则。一个带有 claude-api 技能的 Claude Code 命令可根据文章中的指导配置该智能体。

    推荐理由:Anthropic 分享了一个定时 Claude Managed Agents 的参考实现,该实现读取 Slack 和 GitHub,并针对书签、读取失败和发布确认给出了具体规则。

  1. Anthropic · Claude.dev72

    Claude Code 云会话:在独立虚拟机上运行任务的实战指南

    Addy Osmani 详细介绍了 Claude Code 云会话:每个任务都在一个全新的、由 Anthropic 管理的虚拟机上运行,仓库被克隆到各自的分支上;云会话包含在 Pro、Max、Team 和 Enterprise 套餐中,不额外收取计算费用。在一个示例 Node 仓库上进行的四会话测试中,三个会话在彼此相隔 16 秒内启动,并在第一个会话开始后 87 秒完成;那个不稳定测试会话将测试套件运行了 40 次,零失败。该指南涵盖设置脚本、网络级别、GitHub 连接路径以及适合云会话的七种工作流,同时指出对于需要本地数据、VPN 服务、GPU 或零数据保留的任务,本地会话仍然是更合适的选择。

    推荐理由:一份关于 Claude Code 云会话的实战指南,展示了按任务分配的虚拟机如何实现并行工作,以及本地会话在哪些场景下仍然更合适。

  1. Anthropic · Claude.dev60

    Claude Code mods 入门:构建上下文窗口预测

    Claude Code mods 是小型 JavaScript 或 TypeScript 文件,作为插件中附带的钩子在会话内运行,可以观察事件、重写行为,或在终端或桌面应用中绘制自定义 UI。本指南构建了 Token Weather,一个约 80 行的 mod,在每轮之后读取 $.session.usage(),并在提示符上方绘制一条天气风格的上下文窗口带;随后介绍了 Blast Radius(用于拦截有风险的 Bash 命令)和 Replay Theater(用于逐步查看某一轮的编辑)。Mods 需要 Claude Code 2.1.287 或更高版本,且默认开启;三个示例的完整代码位于 anthropics/claude-code-playground。

    推荐理由:一篇动手实践指南,介绍 Claude Code mods,并用约 80 行代码构建一个可用的上下文窗口计量器,展示钩子、状态和自定义 UI 如何协同工作。

  1. Anthropic · Claude.dev72

    Anthropic 在 Claude Code 的 claude-api skill 中新增 build-eval 和 hillclimb 命令

    Anthropic 在 Claude Code 内的 claude-api skill 中新增了两个命令:/claude-api build-eval 会在你的代码库中构建评估集,/claude-api hillclimb 则基于该评估对应用进行迭代,并使用留出集来防止过拟合。

    推荐理由:Anthropic 为其 claude-api skill 新增了 build-eval 和 hillclimb 命令,展示了 Claude Code 如何设计评估并据此迭代,同时防止过拟合。

  1. OpenAI Developers Blog60

    OpenAI 发布针对 GPT-6 工作负载的 API 部署清单

    OpenAI 发布了一份 API 部署清单,指导开发者将工作负载迁移到 Responses API 和 GPT-6 模型系列,包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。该指南涵盖从 low 到 max 的 reasoning.effort 级别、text.verbosity、带延迟工具加载的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 和 WebSocket 模式,OpenAI 表示对于包含 20 次或更多工具调用的工作流,WebSocket 模式已显示出端到端执行速度提升最高约 40%。清单还详述了可靠性与安全步骤,例如处理 429 和 503 错误、为长任务设置 background=True、safety_identifier 以及 misalignment 监控。

    推荐理由:OpenAI 的官方部署清单将模型选择、推理力度、工具搜索、compaction 和 WebSocket 模式整合为一份针对 GPT-6 工作负载的迁移指南。

  1. OpenAI Developers Blog67

    OpenAI 更新 Sora 2 提示指南,新增角色参考、20 秒片段和视频延长功能

    OpenAI 更新了其 Sora 2 提示指南,以涵盖新的 API 能力:可复用的角色参考(适用于物体和动物)、1920×1080 和 1080×1920 导出、最大片段长度从 12 秒提升至 20 秒、使用完整原始片段作为上下文的视频延长,以及用于异步视频任务的 Batch API。该指南还详细介绍了镜头取景、摄像机运动、灯光和对话的提示结构,并指出分辨率、时长和角色 ID 必须作为 API 参数设置,而不是在文本描述中说明。支持最长 20 秒的延长,且一个视频最多可延长 6 次,总计 120 秒。

    推荐理由:OpenAI 更新的 Sora 2 提示指南详细介绍了新的 API 能力,如角色参考、20 秒片段和视频延长,以及用于控制镜头的可复用提示模板。

  1. OpenAI Developers Blog62

    OpenAI 发布 gpt-5.3-codex 的 Codex 提示指南

    OpenAI 发布了一份 Codex 提示指南,面向通过 API 直接调用经 Codex 调优的 gpt-5.3-codex 模型的开发者,建议交互式编码使用中等推理强度,最难的任务使用高或 xhigh。该指南涵盖将现有 harness 迁移到开源 codex-cli,包括标准 Codex-Max 提示、apply_patch、shell_command 和 update_plan 工具,以及通过 Responses API 中的 /compact 为多小时的会话提供一流的压缩功能。它还介绍了新的 phase 字段,该字段仅在 gpt-5.3-codex 上受支持,用于将助手条目标记为 commentary 或 final_answer,且必须在历史记录中保留以避免性能下降。

    推荐理由:OpenAI 的官方指南详细说明了如何为 gpt-5.3-codex 调整提示、工具和压缩,为团队提供了针对自身编码智能体的具体迁移路径。

  1. Modal Blog60

    Modal工程师逆向解析Flash Attention 4的工作原理

    Modal工程师阅读了已发布的Flash Attention 4源代码,逆向解析了这个针对Blackwell优化的注意力内核的工作原理,因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程,并详述了两个数学技巧:一个可替代基于SFU的指数运算的三次多项式软件指数,以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道,FA4比Nvidia闭源的cudnn注意力内核快约20%,而在撰写本文时反向版本尚不可用。

    推荐理由:Modal工程师阅读了已发布的Flash Attention 4源代码,解释了其warp特化流水线和两个数学技巧,提供了一个关于CUDA内核设计走向的可迁移视角。

  1. Modal Blog62

    Modal 复现 Large Language Monkeys:LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o

    Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张,表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000,而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行,成本远低于 50 美元,并在三个数量级上展现出平滑、可预测的扩展。

    推荐理由:一次亲手复现表明,使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o,提供了一种具体、低成本的计算换准确率方案。