跳到正文
今天11月13日周五1 条
  1. Hacker News · AI85

    取证分析将六个中国前沿模型与受出口管制的NVIDIA Blackwell GPU联系起来

    Unemployment Labs对已发布模型权重的取证分析发现,来自DeepSeek、Moonshot AI、MiniMax和蚂蚁集团的六个模型是在NVIDIA Blackwell硬件上初始化的,而同一批实验室的早期模型则与Hopper匹配。该方法从保留的权重中恢复每个模型的随机种子和线程布局,作者称这些匹配已在物理H100、B300和GB200芯片上复现。报告估计每次训练运行需要在两到三个月内使用大约500到3,000块Blackwell GPU,并指出这些证据无法确定芯片所在位置,也无法确定是否违反了出口管制。

    推荐理由:该报告仅从已发布的模型权重中获取硬件证据,提供了一种可复现的方法来追踪是哪些GPU初始化了模型,而无需依赖泄露信息。

11月6日周五
  1. vLLM Blog77

    REINFORCE Zero:内核对齐使异步强化学习在策略滞后64时保持稳定,并扩展至DeepSeek-V4.1和Kimi K3.1

    NVIDIA Research与Inferact的REINFORCE Zero论文表明,对齐rollout与训练器内核后,未裁剪的token级重要性采样能够纠正剩余的权重滞后,在策略滞后64时稳定训练20,000次更新,并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时,整个运行过程中rollout到学习器的KL中位数上升83.33倍,在线AIME24 pass@1从34.27%降至13.96%,而序列门控虽能稳定训练,但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1,以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1,代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。

    推荐理由:NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配,表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。

11月2日周一
  1. Import AI42

    Import AI 479:Spacewar、低延迟任务与LLM的对比、Genie 4

    Import AI 479 介绍了 Realtime-Bench,这是一个包含 50 项任务的基准测试,由 UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 和 Steadyworks 的研究人员构建,包含 30 项网页任务和 20 项游戏任务,用于测试前沿模型能否在实时压力下行动。GPT-6 Astra(high)取得了最高的实际耗时通过率,为 36%,而在暂停计时的运行中,高推理模型可达到约 70% 至 80%。本期还涵盖了国防情报局的《太空安全挑战》报告以及 Genie 4。