跳至正文
今天11月13日星期五1 条
  1. Hacker News · AI85

    取證分析將六個中國前沿模型與受出口管制的 NVIDIA Blackwell GPU 相關聯

    Unemployment Labs 對已發布模型權重的取證分析發現,來自 DeepSeek、Moonshot AI、MiniMax 和螞蟻集團的六個模型是在 NVIDIA Blackwell 硬體上初始化,而同一批實驗室較早的模型則與 Hopper 相符。該方法從保留的權重中還原每個模型的隨機種子和執行緒佈局,作者表示這些匹配已在實體 H100、B300 和 GB200 晶片上重現。報告估計每次訓練運行在兩到三個月內需要大約 500 到 3,000 塊 Blackwell GPU,並指出這些證據並未確定晶片所在位置,也未確定是否違反了出口管制。

    推薦理由:該報告僅從已發布的模型權重中得出硬體證據,提供了一種可重現的方法,無需依賴洩露即可追蹤是哪種 GPU 初始化了模型。

11月6日星期五
  1. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

11月2日星期一
  1. Import AI42

    Import AI 479:Spacewar、低延遲任務對比 LLM、Genie 4

    Import AI 479 涵蓋 Realtime-Bench,這是一套包含 50 項任務的基準測試,由 UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 與 Steadyworks 的研究人員打造,包含 30 項網頁任務與 20 項遊戲任務,用來測試前沿模型能否在即時壓力下行動。GPT-6 Astra(high)取得最高的實際耗時通過率 36%,而在暫停計時的執行中,高推理模型可達到約 70% 至 80%。本期亦涵蓋國防情報局的「Challenges to Security in Space」報告與 Genie 4。